AI 카드 게임 밸런싱을 위한 자동 셀프 플레이

Moonfall의 카드에는 공격력도 체력 수치도 없습니다. 카드를 내는 한 수가 곧 프롬프트이고, AI 게임 마스터가 그 자리에서 무엇을 할지 정합니다. 그래서 유닛 테스트로는 잡을 수 없는 종류의 결함이 생깁니다. 카드는 이렇게 말했고, 이야기는 저렇게 암시했으며, 판은 또 다른 곳에 도착해 있습니다. 이 셋이 뒤엉키는 것은 경기가 끝까지 간 뒤입니다. 게다가 이야기는 일회용이 아닙니다. 끝난 경기는 누군가 공유하는 만화 스토리북이 될 수 있으니까요.

게임이 스스로 놀게 두기

자동 셀프 플레이는 아무도 앉아 있지 않은 Moonfall 경기를 끝까지 돌립니다. 실제 서버에서 플레이어 자리를 소켓 클라이언트 두 개가 채우고, 시뮬레이션 플레이어가 합법적인 수 가운데 하나를 고르며, 스토리텔러는 실제 대전과 똑같이 그것을 해결합니다. 무엇도 모의로 대체하지 않으므로, 여기서 통과하고 실서비스에서 실패하는 일이 없습니다.

경기는 병렬로, 배치 단위로 돌아갑니다. 이상한 경기 하나로는 아무것도 알 수 없지만, 같은 이상함이 스물다섯 경기 중 여섯 경기에서 나오면 찾아갈 수 있는 결함입니다.

각 경기는 추적을 남깁니다. 초기 상태, 모든 행동, 스토리텔러의 호출, 거기서 발행된 패치, 그리고 판이 실제로 도착한 자리입니다. 그것들을 견주어 보는 일이 "뭔가 이상했다"를 "일곱 번째 턴의 패치가 이야기에 등장하지도 않은 카드를 치웠다"로 바꿉니다.

나온 결과를 판정하기

끝난 경기는 짧은 사다리를 오릅니다. 먼저 결정적 검사입니다. 프로그램이 매듭지을 수 있는 일은 논쟁거리가 되어선 안 되니까요. 남은 것은 LLM 판정자가 봅니다. 10점 만점으로 점수를 매기는 대신 이분 질문에 답하고, 그 답을 결정한 턴을 인용합니다. 둘 다 LLM 평가와 채점 전에 추론을 두는 것에 관해 공개된 조언을 따른 방식입니다.

가장 중요한 쪽은 보통 취향에 맡기는 부분입니다. 정말로 놀라운 순간이 있었는지, 문장이 두려움을 벌어들였는지 아니면 선언만 했는지, 결과가 카드 이름의 약속을 존중했는지. 반복된 발견은 작은 제안이 되고, 제한된 변경이 가드레일 아래에서 자동으로 적용되며, 모니터링과 선택적 개입을 위한 감사 추적이 남습니다.

열 번의 배치가 보여 준 것

각 점은 스물다섯 경기로 이루어진 한 배치입니다. 채점 대상은 끝까지 진행된 경기뿐입니다.

이야기는 훨씬 놀라워졌습니다. 첫 배치에서 판정자가 진짜로 놀랍고 공정한 순간을 찾아낸 것은 44%의 경기였지만, 마지막 두 배치에서는 95%, 그리고 100%였습니다. 정확도는 이제 더 천천히 오릅니다. 이전 런들이 이미 크게 끌어올린 덕분에 열 배치 내내 92.6%에서 97.1% 사이를 유지했습니다.

주의할 점 둘. 여기서 말하는 정확도는 추정값입니다. 등록된 정확성 결함에 한 번도 연결되지 않은 스토리텔러 호출의 비율로, 개별 경기를 재단하기보다 배치 사이를 비교하는 데 적합합니다. 그리고 열 배치는 파일럿입니다. 수백 경기이지 수십만 경기가 아닙니다.

AI 덱끼리 게임 안에서 싸울 수도 있을까요?

이 하네스는 이미 일종의 오토 배틀러입니다. AI가 조종하는 덱들이 서로를 압박하고 스토리텔러가 그 결과를 서술합니다. 그 어떤 형태가 Moonfall 안에 있어도 흥미로울 수 있습니다. 매 턴을 클릭하는 대신 사람은 카드와 덱 선택에 더 집중하는 형태입니다. 이것은 기능 예고가 아니라, 이 작업이 테스트를 넘어 흥미로운 이유 하나일 뿐입니다.

지금 하는 일은 더 좁습니다. Moonfall은 당신을 놀라게 하려고 있고, 이 루프가 존재하는 이유는 그 놀라움이 경기에서 나오되 문장이 불분명한 카드에서 나오지 않게 하기 위해서입니다.