Компания Krafton, создатель inZOI, представила Orak – систему оценки производительности ИИ-агентов. Этот новый инструмент призван стандартизировать возможности искусственного интеллекта в анализе, выполнении задач и принятии решений в играх.
При разработке Orak использовались данные из шестнадцати игр, представляющих шесть различных жанров: экшен (Street Fighter 3 и Super Mario), приключения (Ace Attorney и Her Story), RPG (Pokemon-red и Darkest Dungeon), симуляторы (Minecraft и Stardew Valley), стратегии (Starcraft 2 и Slay the Spire) и головоломки (Baba is You и 2048).
В основе разработки лежит опыт Krafton в сотрудничестве с Nvidia над технологией Co-Playable Character, которая уже применялась для "Умных Зой" в inZOI и Ally в PUBG. Эта технология позволяла LLM-агентам интерпретировать сложные игровые ситуации и реализовывать их.
Ли Кан-Вук, генеральный менеджер Krafton Deep Learning, отметил, что "Orak развивает предыдущие исследования Krafton, основанные на тестировании LLM с использованием специфических игровых знаний. Компания планирует участвовать в конкурсе, чтобы получить возможность разрабатывать LLM-агентов в будущем".
Krafton активно представляет свои научные работы в области ИИ на международных конференциях, таких как ICLR и ICML. В этом году три работы были отмечены жюри в категории Spotlight.
В основе бенчмарка лежит "Протокол контекста модели" (MCP), который преобразует игровую информацию в формат, понятный для LLM (текстовый или визуальный), а затем переводит ответ агента обратно в действие. Krafton стремится к тому, чтобы ИИ выбирал действия, которые совершил бы реальный игрок. Orak позволяет адаптировать LLM к конкретным игровым условиям.
Несмотря на использование нейросетевых технологий в inZOI и снижение онлайна, издатель продолжает поддерживать проект, выпущенный в ранний доступ 28 марта 2025 года на Unreal Engine 5 для PC.