Roblox создает собственный LLM

Платформа онлайн-игр Roblox разработала новую “унифицированную модель перевода” на базе искусственного интеллекта, позволяющую игрокам общаться друг с другом с помощью текста в режиме реального времени, несмотря на то, что они говорят на разных языках.

Согласно заявлению технического директора Roblox Дэна Штурмана от 5 февраля, новая система потребовала от фирмы создания собственной LLM, чтобы иметь возможность переводить текстовые сообщения с базовой задержкой в 100 миллисекунд, что делает разговоры для пользователей мгновенными.

“Представьте, что ваш новый друг из Roblox, человек, с которым вы общались и шутили в рамках нового опыта, на самом деле находится в Корее — и все это время печатал на корейском, в то время как вы печатали на английском, и никто из вас этого не заметил”, — сказал Штурман.

LLM переводит текстовые сообщения в режиме реального времени на 16 поддерживаемых языках. Источник: Roblox

Как Roblox построила “унифицированную модель перевода»

Хотя Штурман отметил, что Roblox уже автоматически переводит свой контент для опыта, фирма хотела “выйти за рамки перевода статичного контента в опыт”.

Штурман сказал, что двумя самыми большими препятствиями на пути создания переводчика были разработка системы, которая позволяла переводить между всеми 16 языками независимо, а затем сделать ее достаточно быстрой для поддержки чатов в режиме реального времени, что потребовало нового подхода к построению собственной большой языковой модели (LLM).

“Для достижения этой цели мы могли бы создать уникальную модель для каждой языковой пары (например, японского и испанского), но для этого потребовалось бы 16 × 16, или 256 различных моделей. Вместо этого мы создали унифицированную LLM для перевода на основе трансформатора, которая обрабатывает все языковые пары в единой модели ”.

Компания Roblox начала с создания LLM на базе transformer, обученного работе с общедоступными и частными данными.

Затем Roblox передал программу LLM нескольким “экспертным” приложениям для перевода, которые обучили модель каждому отдельному языку.

Штурман отметил, что “менее распространенные” пары переводов, такие как французский на тайский, были сложными из-за нехватки высококачественных данных, что вынуждало Roblox использовать “обратный перевод”, когда сообщения переводятся на язык оригинала, а затем сравниваются с исходным текстом для точности.

После этого переводы анализируются с помощью модели оценки качества, которая фокусируется в первую очередь на понятности перевода.

Переводчик Roblox анализирует фразы с помощью модели оценки качества. Источник: Roblox

Кроме того, модель была обучена понимать человеческий сленг, при этом Roblox привлекла специалистов-оценщиков для перевода «популярных и трендовых терминов” для каждого языка.

Штурман добавил, что это был непрерывный процесс, когда люди-оценщики постоянно обновляли систему, чтобы поддерживать ее в актуальном состоянии с помощью последних фраз.

На заключительном этапе тестирования Roblox обнаружила, что новая система перевода способствовала “более активному взаимодействию и качеству сеанса” для пользователей ее платформы.

В настоящее время Roblox насчитывает 70 миллионов активных пользователей из более чем 180 стран по всему миру, и ежедневно обменивается более чем 2,4 миллиардами сообщений.

В ноябре прошлого года генеральный директор Roblox Дэвид Башуцки заявил, что он “мечтает” о функциональной совместимости и считает, что все пользователи metaverse должны иметь возможность перемещать нефинансовые токены (NFT) и другие цифровые активы между несколькими независимыми платформами.

Источник