KI-Playtesting-Notizen
Automatisches Self-Play für Balance in KI-Kartenspielen
Moonfall spielt vollständige Partien gegen sich selbst und bewertet jede beendete, damit unklare Karten auffallen, bevor Spielerinnen und Spieler ihnen begegnen.
Moonfall-Karten haben keine Angriffs- oder Lebenswerte. Jedes Ausspielen einer Karte ist ein Prompt, und ein KI-Spielleiter entscheidet im Moment, was sie tut. Damit entsteht eine Fehlerklasse, die kein Unit-Test fassen kann: Die Karte sagte das eine, die Geschichte deutete etwas anderes an, und das Spielfeld landete an einem dritten Ort. Verheddert hat sich das erst, wenn eine Partie ganz durchgelaufen ist — und die Geschichte ist nicht wegwerfbar, denn aus einer beendeten Partie kann ein Manga-Storybook werden, das jemand teilt.
Das Spiel sich selbst spielen lassen
Automatisches Self-Play spielt vollständige Moonfall-Partien, in denen niemand sitzt. Zwei Socket-Clients nehmen auf dem echten Server die Plätze der Spieler ein, ein simulierter Spieler wählt aus den legalen Zügen, und der Storyteller löst jeden davon exakt so auf wie in einer laufenden Partie. Nichts ist gemockt, also besteht nichts hier und scheitert in der Produktion.
Partien laufen parallel, in Batches. Eine seltsame Partie sagt nichts; dieselbe Seltsamkeit in sechs von fünfundzwanzig Partien ist ein Defekt, den man suchen gehen kann.
Jede Partie hinterlässt einen Trace: Ausgangszustand, jede Aktion, die Aufrufe des Storytellers, die ausgegebenen Patches und die Stelle, an der das Spielfeld tatsächlich landete. Diese zu vergleichen macht aus das fühlte sich falsch an ein der Patch in Zug sieben entfernte eine Karte, die in der Geschichte nie vorkam.
Bewerten, was herauskommt
Beendete Partien steigen eine kurze Leiter hinauf. Zuerst deterministische Prüfungen, denn worüber ein Programm entscheiden kann, sollte nicht diskutiert werden. Der Rest geht an einen LLM-Judge, der binäre Fragen beantwortet statt auf einer Zehnerskala zu benoten, und den Zug zitiert, der die jeweilige Antwort entschieden hat. Beides folgt veröffentlichten Hinweisen zur LLM-Bewertung und dazu, vor dem Bewerten zu begründen.
Am meisten zählt die Hälfte, die sonst dem Geschmack überlassen bleibt: ob ein Moment wirklich überrascht hat, ob die Prosa ihre Furcht verdient statt sie behauptet hat, ob eine Auflösung respektierte, was der Kartenname versprach. Wiederholte Befunde werden zu kleinen Vorschlägen; begrenzte Änderungen werden unter Guardrails automatisch angewendet, mit einem Audit-Trail für Monitoring und optionales Eingreifen.
Was zehn Batches gezeigt haben
Jeder Punkt ist ein Batch aus fünfundzwanzig Partien. Bewertet werden nur Partien, die vollständig durchliefen.
Die Geschichten wurden deutlich überraschender. Im ersten Batch fand ein Judge in 44 % der Partien einen wirklich überraschenden, fairen Moment; in den letzten beiden waren es 95 % und dann 100 %. Die Genauigkeit wächst inzwischen langsamer: Sie lag über die zehn Batches zwischen 92,6 % und 97,1 %, nachdem frühere Läufe sie bereits deutlich angehoben hatten.
Zwei Einschränkungen. Die Genauigkeit hier ist eine Schätzung: der Anteil der Storyteller-Aufrufe, die nie mit einem erfassten Korrektheitsfehler verknüpft wurden — brauchbar, um Batches zu vergleichen, nicht um eine einzelne Partie zu beurteilen. Und zehn Batches sind ein Pilot: Hunderte Partien, nicht Hunderttausende.
Könnten KI-Decks irgendwann im Spiel selbst gegeneinander antreten?
Das Harness ist bereits eine Art Auto-Battler: KI-gesteuerte Decks setzen einander unter Druck, während ein Storyteller das Ergebnis erzählt. Irgendeine Form davon könnte auch in Moonfall interessant sein — Menschen konzentrieren sich stärker auf Karten und Deckentscheidungen, statt sich durch jeden Zug zu klicken. Das ist keine Feature-Ankündigung, nur ein Grund, warum die Arbeit über das Testen hinaus interessant ist.
Heute tut sie etwas Engeres. Moonfall soll dich überraschen, und die Schleife existiert, damit die Überraschung aus der Partie kommt und nicht aus einer Karte, deren Wortlaut unklar war.