Notas de playtesting con IA
Autojuego automatizado para equilibrar juegos de cartas con IA
Moonfall juega partidas completas contra sí mismo y puntúa cada partida terminada, para detectar cartas confusas antes de que las encuentren los jugadores.
Las cartas de Moonfall no tienen valores de ataque ni de vida. Cada jugada es un prompt, y un maestro de juego con IA decide en el momento qué hace. Eso crea una clase de fallo que ningún test unitario atrapa: la carta decía una cosa, la historia insinuaba otra y el tablero acabó en un tercer sitio. Las tres solo se enredan cuando la partida ha llegado al final — y la historia no es desechable, porque una partida terminada puede convertirse en un storybook manga que alguien comparte.
Dejar que el juego juegue solo
El autojuego automatizado ejecuta partidas completas de Moonfall sin nadie sentado en ellas. Dos clientes socket ocupan el lugar de los jugadores en el servidor real, un jugador simulado elige entre las jugadas legales y el storyteller resuelve cada una igual que en una partida en vivo. Nada está simulado con mocks, así que nada pasa aquí y falla en producción.
Las partidas corren en paralelo, por lotes. Una partida rara no dice nada; la misma rareza en seis de veinticinco es un defecto que se puede ir a buscar.
Cada partida deja una traza: el estado inicial, cada acción, las llamadas del storyteller, los parches emitidos y dónde acabó realmente el tablero. Compararlos es lo que convierte eso no encajaba en el parche del turno siete quitó una carta que la historia nunca mencionó.
Evaluar lo que sale
Las partidas terminadas suben una escalera corta. Primero las comprobaciones deterministas, porque lo que puede decidir un programa no debería discutirse. El resto va a un juez LLM que responde preguntas binarias en vez de puntuar sobre diez, y cita el turno que decidió cada respuesta. Ambas cosas siguen recomendaciones publicadas sobre evaluación con LLM y sobre razonar antes de puntuar.
Lo que más importa es la mitad que suele dejarse al gusto: si hubo un momento genuinamente sorprendente, si la prosa se ganó su temor en vez de anunciarlo, si la resolución respetó lo que prometía el nombre de la carta. Los hallazgos repetidos se convierten en propuestas pequeñas; los cambios acotados se aplican automáticamente bajo guardarraíles, con un rastro de auditoría para el seguimiento y la intervención opcional.
Lo que mostraron diez lotes
Cada punto es un lote de veinticinco partidas. Solo se puntúan las partidas que llegaron hasta el final.
Las historias se volvieron mucho más sorprendentes. En el primer lote, un juez encontró un momento genuinamente sorprendente y justo en el 44 % de las partidas; en los dos últimos, el 95 % y después el 100 %. La precisión crece ahora más despacio: se mantuvo entre el 92,6 % y el 97,1 % en los diez lotes, después de que ejecuciones anteriores ya la hubieran mejorado de forma notable.
Dos salvedades. La precisión de la que hablamos es una estimación: la proporción de llamadas al storyteller nunca vinculadas a un fallo registrado, útil para comparar lotes más que para juzgar una partida concreta. Y diez lotes son un piloto: cientos de partidas, no cientos de miles.
¿Podrían los mazos de IA llegar a batirse dentro del juego?
El arnés ya es una especie de auto-battler: mazos controlados por IA se presionan entre sí mientras un storyteller narra el resultado. Alguna versión de eso podría resultar interesante dentro del propio Moonfall — con los humanos centrados más en las cartas y las decisiones de mazo que en hacer clic turno tras turno. No es un anuncio de funcionalidad, solo una razón por la que este trabajo interesa más allá de las pruebas.
Por ahora hace algo más estrecho. Moonfall debe sorprenderte, y el bucle existe para que la sorpresa venga de la partida y no de una carta con una redacción confusa.