Революция в творчестве в Roblox с помощью генеративного искусственного интеллекта – блог Roblox

Ранее в этом году мы поделились видение за генеративный искусственный интеллект (ИИ) в Roblox и новые интуитивно понятные инструменты, которые позволят каждому пользователю стать творцом. Поскольку эти инструменты быстро развиваются в отрасли, я хотел бы предоставить некоторые обновленные сведения о достигнутом нами прогрессе, о пути, который еще предстоит сделать для демократизации создания генеративного ИИ, и о том, почему мы считаем, что генеративный ИИ является критически важным элементом для развития Roblox. 

Достижения в области генеративного искусственного интеллекта и моделей больших языков (LLM) открывают невероятную возможность открыть будущее иммерсивного опыта, обеспечивая более простое и быстрое создание, сохраняя при этом безопасность и не требуя огромных вычислительных ресурсов. Кроме того, достижения в области моделей ИИ, которые являются мультимодальными, то есть они обучаются с использованием нескольких типов контента, таких как изображения, код, текст, 3D-модели и аудио, открывают двери для новых достижений в инструментах создания. Эти же модели начинают также создавать мультимодальные выходные данные, например, модель, которая может создавать текстовый вывод, а также некоторые визуальные эффекты, дополняющие текст. Мы рассматриваем эти прорывы в области искусственного интеллекта как огромную возможность одновременно повысить эффективность для более опытных авторов и дать возможность еще большему количеству людей воплощать в жизнь великолепные идеи в Roblox. В этом году Конференция разработчиков Roblox (RDC), мы анонсировали несколько новых инструментов, которые внесут генеративный искусственный интеллект в Roblox Studio и за ее пределы, чтобы помочь любому пользователю Roblox быстрее масштабироваться, быстрее выполнять итерации и расширять свои навыки для создания еще лучшего контента. 

Роблокс Ассистент

Roblox всегда предоставлял создателям инструменты, услугии поддержка им нужно создавать захватывающие 3D-приложения. В то же время мы увидели, как наши создатели начали использовать сторонний генеративный и диалоговый искусственный интеллект для помощи в творчестве. Хотя они полезны для снижения рабочей нагрузки создателя, эти готовые версии не были разработаны для сквозных рабочих процессов Roblox и не обучены использованию кода Roblox, сленга и жаргона. Это означает, что создателям предстоит выполнить значительную дополнительную работу по использованию этих версий для создания контента для Roblox. Мы работали над тем, как привнести ценность этих инструментов в Roblox Studio, и в RDC мы поделились ранним примером Assistant.

Assistant — это наш диалоговый искусственный интеллект, который позволяет авторам всех уровней навыков тратить значительно меньше времени на рутинные, повторяющиеся задачи, связанные с созданием, и больше времени на важные действия, такие как повествование, игровой процесс и дизайн опыта. Roblox имеет уникальные возможности для создания этой диалоговой модели искусственного интеллекта для захватывающих трехмерных миров благодаря нашему доступу к большому набору общедоступных трехмерных моделей для обучения, нашей способности интегрировать модель с API-интерфейсами нашей платформы и нашему растущему набору инновационных решений искусственного интеллекта. . Создатели смогут использовать текстовые подсказки на естественном языке для создания сцен, редактирования 3D-моделей и применения интерактивного поведения к объектам. Assistant будет поддерживать три этапа создания: обучение, кодирование и создание:

• Обучение: Независимо от того, является ли автор новичком в разработке для Roblox или опытным ветераном, Roblox Assistant поможет ответить на вопросы по широкому кругу поверхностей, используя естественный язык. 
• Кодирование: Ассистент расскажет о наших недавних Помощь с кодом инструмент. Например, разработчики могут попросить Ассистента улучшить их код, объяснить часть кода или помочь в отладке и предложить исправления для кода, который работает неправильно.
• Здание: Assistant поможет авторам быстро создавать прототипы новых идей. Например, новый автор может создавать целые сцены и опробовать разные версии, просто набрав подсказку типа «Добавьте уличные фонари вдоль этой дороги» или «Создайте лес из разных видов деревьев». Теперь добавим кусты и цветы».

Работа с Ассистентом будет совместной, интерактивной и итеративной, что позволит создателям оставлять отзывы, а Ассистент будет предлагать правильное решение. Это будет похоже на то, что в качестве партнера вы будете иметь опытного создателя, от которого вы сможете обмениваться идеями и опробовать их, пока не добьетесь правильного результата.

Чтобы сделать Assistant лучшим партнером, мы сделали еще одно объявление на RDC: мы пригласили разработчиков выбрать в предоставить свои анонимные данные сценария Луау. Эти данные сценария помогут сделать наши инструменты искусственного интеллекта, такие как Code Assist и Assistant, значительно лучше в предложении и создании более эффективного кода, отдавая должное разработчикам Roblox, которые их используют. Кроме того, если разработчики решат поделиться информацией за пределами Roblox, данные их сценариев будут добавлены в набор данных, доступный третьим сторонам, чтобы научить их инструменты чата с искусственным интеллектом лучше предлагать код Luau, отдавая должное разработчикам Luau повсюду.

Чтобы внести ясность: посредством всестороннего исследования пользователей и прозрачных бесед с ведущими разработчиками мы разработали эту программу так, чтобы она была добровольной, и поможет гарантировать, что все участники понимают и соглашаются с тем, что влечет за собой программа. В качестве благодарности тем, кто решит поделиться данными скриптов с Roblox, мы предоставим доступ к более мощным версиям Assistant и Code Assist, основанным на этой модели, обученной сообществом. Те, кто не подписался, по-прежнему будут иметь доступ к существующей версии Assistant и Code Assist.

Упрощенное создание аватара 

В конечном счете, мы хотим, чтобы у каждого из наших 65.5 миллионов ежедневных пользователей был аватар, который действительно представлял бы его и выражал бы то, кем он является. Недавно мы предоставили участникам нашей программы пользовательского контента возможность создавать и продавать как тела аватаров, так и отдельные головы. Сегодня этот процесс требует доступа к Studio или нашей программе UGC, довольно высокого уровня навыков и нескольких дней работы, чтобы обеспечить выражение лица, движения тела, 3D-ригинг и т. д. Это делает создание аватаров трудоемким и требует дата, ограничило количество доступных опций. Мы хотим пойти еще дальше.

Чтобы каждый в Roblox мог иметь персонализированный, выразительный аватар, нам нужно сделать так, чтобы аватары было очень легко создавать и настраивать. На RDC мы анонсировали новый инструмент, который выпустим в 2024 году, который позволит легко создавать собственный аватар из изображения или из нескольких изображений. С помощью этого инструмента любой автор, имеющий доступ к Studio или нашей программе UGC, сможет загрузить изображение, создать для себя аватар, а затем изменить его по своему усмотрению. В долгосрочной перспективе мы намерены сделать это доступным непосредственно в Roblox.

Чтобы сделать это возможным, мы обучаем модели ИИ на схеме аватаров Roblox и наборе принадлежащих Roblox 3D-моделей аватаров. Один из подходов использует исследованиям для создания 3D-стилизованных аватаров из 2D-изображений. Мы также рассматриваем возможность использования предварительно обученных моделей диффузии текста в изображение для дополнения ограниченных 3D-данных обучения с помощью 2D-генеративных методов, а также использования сети генерации 3D-изображений на основе генеративно-состязательной сети (GAN) для обучения. Наконец, мы работаем над использованием сеть управления наслаивать заранее заданные позы, чтобы направлять полученные многопрофильные изображения аватаров. 

В результате этого процесса создается трехмерная сетка для аватара. Далее мы используем 3D исследование семантической сегментации, обученный позам 3D-аватара, чтобы взять эту 3D-сетку и настроить ее, чтобы добавить соответствующие черты лица, клетку, оснастку и текстуры, по сути, превращая статическую 3D-сетку в аватар Roblox. Наконец, инструмент редактирования сетки позволяет пользователям трансформировать и настраивать модель, чтобы она больше походила на ту версию, которую они себе представляют. И все это происходит быстро — в течение нескольких минут — создается новый аватар, который можно импортировать в Roblox и использовать в игре.

Модерирование голосового общения

Для нас ИИ — это не просто создание, это также гораздо более эффективная система для обеспечения разнообразного, безопасного и гражданского сообщества в большом масштабе. Когда мы начинаем внедрять новые голосовые функции, включая голосовой чат и Roblox Connect, новую функцию вызова в качестве вашего аватара и API, анонсированные на RDC, мы сталкиваемся с новой проблемой — модерацией разговорной речи в реальном времени. Текущим отраслевым стандартом для этого является процесс, известный как автоматическое распознавание речи (ASR), который по сути берет аудиофайл, расшифровывает его для преобразования в текст, а затем анализирует текст на предмет недопустимого языка, ключевых слов и т. д. 

Это хорошо работает для компаний, использующих его в меньших масштабах, но, изучая использование того же процесса ASR для модерации голосовой связи, мы быстро поняли, что это сложно и неэффективно в нашем масштабе. При таком подходе также теряется невероятно ценная информация, закодированная в громкости и тоне голоса говорящего, а также в более широком контексте разговора. Из миллионов минут разговоров, которые нам придется расшифровывать каждый день на разных языках, лишь очень небольшой процент может звучать как что-то неуместное. И по мере того, как мы продолжаем масштабироваться, для поддержания этой системы потребуется все больше и больше вычислительной мощности. Поэтому мы внимательно рассмотрели, как мы могли бы сделать это более эффективно, построив конвейер, который идет непосредственно от живого звука к маркировке контента, чтобы указать, нарушает ли он наши политики или нет.

В конечном итоге мы смогли создать собственную систему обнаружения голоса, используя ASR для классификации наших собственных наборов голосовых данных, а затем использовать эти классифицированные голосовые данные для обучения системы. Точнее, чтобы обучить эту новую систему, мы начинаем с аудио и создаем расшифровку. Затем мы пропускаем расшифровку через нашу систему текстовых фильтров Roblox, чтобы классифицировать звук. Эта система текстовых фильтров отлично подходит для обнаружения нарушающих политику формулировок в Roblox, поскольку мы уже много лет оптимизируем эту же систему фильтров для использования сленга, сокращений и жаргона, специфичных для Roblox. В конце этих уровней обучения у нас есть модель, способная обнаруживать нарушения политики непосредственно по аудио в режиме реального времени.

Хотя эта система действительно способна обнаруживать определенные ключевые слова, например ненормативную лексику, нарушения политики редко заключаются в одном слове. Одно слово часто может показаться проблематичным в одном контексте и вполне приемлемым в другом контексте. По сути, эти типы нарушений касаются того, что вы говорите, как вы это говорите, а также контекста, в котором делаются заявления.

Чтобы лучше понимать контекст, мы используем возможности архитектуры на основе трансформатора, которая очень хороша при суммировании последовательностей. Он может принимать последовательность данных, например аудиопоток, и суммировать их для вас. Эта архитектура позволяет нам сохранять более длинную аудиопоследовательность, чтобы мы могли распознавать не только слова, но также контекст и интонации. Как только все эти элементы соберутся вместе, мы получим окончательную систему, в которой на входе — аудио, а на выходе — классификация — нарушает политику или нет. Эта система может обнаруживать ключевые слова и фразы, нарушающие политику, а также тон, тональность и другой контекст, который важен для определения намерений. Эта новая система, которая обнаруживает речь, нарушающую политику, непосредственно по аудио, значительно более эффективна в вычислениях, чем традиционная система ASR, что значительно облегчит ее масштабирование, поскольку мы продолжаем переосмысливать то, как люди собираются вместе.

Нам также нужен был новый способ предупреждать тех, кто пользуется нашими средствами голосовой связи, о потенциальных последствиях использования такого типа языка. Имея в своем распоряжении эту инновационную систему обнаружения, мы сейчас экспериментируем со способами воздействия на поведение в Интернете для поддержания безопасной среды. Мы знаем, что люди иногда непреднамеренно нарушают наши правила, и хотим понять, может ли периодическое напоминание помочь предотвратить дальнейшие нарушения. Чтобы помочь в этом, мы экспериментируем с обратной связью от пользователей в режиме реального времени через уведомления. Если система обнаружит, что вы несколько раз сказали что-то, что нарушает наши правила, мы отобразим на вашем экране всплывающее уведомление, информирующее вас о том, что ваш язык нарушает наши правила, и направим вас к нашим политикам для получения дополнительной информации.

Однако уведомления голосового потока — это лишь один элемент системы модерации. Мы также изучаем модели поведения на платформе, а также жалобы других пользователей Roblox, чтобы принимать общие решения по модерации. Совокупность этих сигналов может привести к более серьезным последствиям, включая отмену доступа к аудиофункциям или, в случае более серьезных нарушений, полный запрет на использование платформы. Поддержание безопасности и гражданственности нашего сообщества имеет решающее значение, поскольку эти достижения в области мультимодальных моделей искусственного интеллекта, генеративного искусственного интеллекта и LLM объединяются, чтобы предоставить творцам невероятные новые инструменты и возможности. 

Мы считаем, что предоставление авторам этих инструментов снизит входной барьер для менее опытных авторов и освободит более опытных авторов от более утомительных задач этого процесса. Это позволит им уделять больше времени изобретательским аспектам доводки и выработки идей. Наша цель — дать возможность каждому и везде воплотить свои идеи в жизнь и значительно увеличить разнообразие аватаров, предметов и впечатлений, доступных в Roblox. Мы тоже обмен информацией и инструментами, помогающими защитить новые творения. 

Мы уже представляем удивительные возможности: скажем, кто-то может создать аватара-двойника прямо из фотографии, а затем настроить свой аватар, чтобы сделать его выше или сделать его в стиле аниме. Или они могут создать впечатление, попросив Ассистента добавить автомобили, здания и пейзажи, установить условия освещения или ветра или изменить местность. После этого они могли выполнять итерации, чтобы уточнить ситуацию, просто печатая туда и обратно с помощью Ассистента. Мы знаем, что реальность того, что люди создают с помощью этих инструментов, когда они станут доступными, выйдет далеко за рамки того, что мы можем себе представить.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Автомобили / электромобили, Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• ЧартПрайм. Улучшите свою торговую игру с ChartPrime. Доступ здесь.
• Смещения блоков. Модернизация права собственности на экологические компенсации. Доступ здесь.
• Источник: https://blog.roblox.com/2023/09/revolutionizing-creation-roblox/