Революція створення на Roblox за допомогою Generative AI – Blog Roblox

На початку цього року ми поділилися своїми бачення для генеративного штучного інтелекту (ШІ) на Roblox і нових інтуїтивно зрозумілих інструментів, які дозволять кожному користувачеві стати творцем. Оскільки ці інструменти швидко розвиваються в галузі, я хотів надати деякі оновлення щодо прогресу, якого ми досягли, шляху, який ще попереду, щоб демократизувати створення генеративного ШІ, і чому ми вважаємо, що генеративний ШІ є критично важливим елементом для того, куди рухається Roblox. 

Удосконалення генеративного штучного інтелекту та великих мовних моделей (LLM) відкривають неймовірну можливість розблокувати майбутнє захоплюючого досвіду, дозволяючи легше та швидше створювати, зберігаючи безпеку та не вимагаючи величезних обчислювальних ресурсів. Крім того, досягнення мультимодальних моделей штучного інтелекту, що означає, що вони навчаються з декількома типами вмісту, такими як зображення, код, текст, 3D-моделі та аудіо, відкривають двері для нових досягнень у інструментах створення. Ці ж моделі починають створювати мультимодальні результати, такі як модель, яка може створювати текстовий вихід, а також деякі візуальні елементи, які доповнюють текст. Ми розглядаємо ці прориви ШІ як чудову можливість одночасно підвищити ефективність для більш досвідчених творців і дати можливість ще більшій кількості людей втілювати чудові ідеї в життя на Roblox. У цьому році Конференція розробників Roblox (RDC), ми анонсували декілька нових інструментів, які запровадять генеративний штучний інтелект у Roblox Studio та за її межами, щоб допомогти будь-кому в Roblox швидше масштабуватись, швидше виконувати ітерації та розширювати свої навички для створення ще кращого вмісту. 

Помічник Roblox

Roblox завжди надавав творцям інструменти, послуги та підтримка їм потрібно створити захоплюючий 3D-досвід. У той же час ми бачили, як наші творці почали використовувати генеративний і розмовний штучний інтелект сторонніх розробників, щоб допомогти їм творити. Незважаючи на те, що вони корисні, щоб допомогти зменшити робоче навантаження творця, ці готові версії не були розроблені для наскрізних робочих процесів Roblox і не навчалися коду, сленгу та жаргону Roblox. Це означає, що творці стикаються зі значною додатковою роботою, щоб використовувати ці версії для створення вмісту для Roblox. Ми працювали над тим, щоб перенести цінність цих інструментів у Roblox Studio, і в RDC ми поділилися раннім прикладом Assistant.

Assistant — це наш розмовний штучний інтелект, який дозволяє творцям будь-якого рівня навичок витрачати значно менше часу на буденні, повторювані завдання, пов’язані зі створенням, і більше часу на важливі дії, як-от розповідь, ігри та дизайн досвіду. Roblox має унікальні можливості для створення цієї розмовної моделі штучного інтелекту для захоплюючих 3D-світів завдяки нашому доступу до великого набору загальнодоступних 3D-моделей для навчання, нашій здатності інтегрувати модель із API нашої платформи та зростаючому набору інноваційних рішень штучного інтелекту. . Творці зможуть використовувати текстові підказки природною мовою для створення сцен, редагування 3D-моделей і застосування інтерактивної поведінки до об’єктів. Assistant підтримуватиме три фази створення: навчання, кодування та створення:

• Навчання: Незалежно від того, чи творець є новачком у розробці на Roblox, чи досвідченим ветераном, Roblox Assistant допоможе відповісти на запитання з різних сторін, використовуючи природну мову. 
• Кодування: Помічник розширить наш останній Code Assist інструмент. Наприклад, розробники можуть попросити Помічника покращити їхній код, пояснити частину коду або допомогти налагодити та запропонувати виправлення для коду, який не працює належним чином.
• Будівля: Помічник допоможе творцям швидко прототипувати нові ідеї. Наприклад, новачок може створювати цілі сцени та випробувати різні версії, просто ввівши підказку на кшталт «Додайте вуличні ліхтарі вздовж цієї дороги» або «Створіть ліс із різними видами дерев». Тепер додайте кілька кущів і квітів».

Робота з Помічником буде спільною, інтерактивною та повторюваною, дозволяючи творцям надавати відгуки, а Помічник працюватиме над пошуком правильного рішення. Це буде схоже на досвідченого творця як партнера, від якого ви можете обмінюватися ідеями та випробувати ідеї, доки не зрозумієте.

Щоб зробити Assistant найкращим партнером, ми зробили ще одне оголошення в RDC: запросили розробників вибрати в внести свої анонімні дані сценарію Luau. Ці дані сценарію допоможуть зробити наші інструменти штучного інтелекту, як-от Code Assist і Assistant, значно кращими в пропонуванні та створенні ефективнішого коду, повертаючись до розробників Roblox, які їх використовують. Крім того, якщо розробники вирішать поділитися не тільки Roblox, їхні дані сценаріїв будуть додані до набору даних, доступного третім особам, щоб навчити їхні інструменти чату AI краще пропонувати код Luau, повертаючись до розробників Luau всюди.

Щоб було зрозуміло, завдяки всебічному дослідженню користувачів і прозорим бесідам із провідними розробниками ми розробили це для участі та допоможемо гарантувати, що всі учасники розуміють і погоджуються з тим, що передбачає програма. На знак подяки тим, хто вирішив ділитися даними сценаріїв з Roblox, ми надамо доступ до більш потужних версій Assistant і Code Assist, які працюють на основі цієї моделі, розробленої спільнотою. Ті, хто не зареєструвався, матимуть доступ до існуючої версії Assistant і Code Assist.

Простіше створення аватарів 

Зрештою, ми хочемо, щоб кожен із наших 65.5 мільйонів щоденних користувачів мав аватар, який справді представляє їх і виражає, ким вони є. Нещодавно ми випустили можливість для наших учасників програми UGC створювати та продавати як тіла аватарів, так і окремі голови. Сьогодні цей процес вимагає доступу до Studio або нашої програми UGC, досить високого рівня навичок і кількох днів роботи, щоб увімкнути вираз обличчя, рухи тіла, 3D-підготовку тощо. Це робить створення аватарів трудомістким і потребує дата, обмежена кількість доступних опцій. Ми хочемо піти ще далі.

Щоб кожен користувач Roblox міг мати персоналізований, виразний аватар, нам потрібно зробити аватари дуже легкими для створення та налаштування. У RDC ми анонсували новий інструмент, який ми випустимо у 2024 році, який дозволить легко створити власний аватар із зображення або кількох зображень. За допомогою цього інструменту будь-який автор, який має доступ до Studio або нашої програми UGC, зможе завантажити зображення, створити для нього аватар, а потім змінити його на свій розсуд. У довгостроковій перспективі ми також маємо намір зробити це доступним безпосередньо в інтерфейсі Roblox.

Щоб зробити це можливим, ми навчаємо моделі ШІ на схемі аватарів Roblox і наборі 3D-моделей аватарів Roblox. Один підхід використовує дослідження для створення 3D стилізованих аватарів із 2D зображень. Ми також розглядаємо можливість використання попередньо навчених моделей розповсюдження тексту в зображення для доповнення обмежених 3D-навчальних даних за допомогою 2D-генеративних методів, а також використання мережі 3D-генерації на основі генеративної змагальної мережі (GAN) для навчання. Нарешті ми працюємо над використанням ControlNet накладати шари в попередньо визначених позах, щоб керувати отриманими багаторакурсними зображеннями аватарів. 

Цей процес створює 3D-сітку для аватара. Далі ми використовуємо 3D дослідження семантичної сегментації, навчений позувати 3D-аватар, щоб взяти цю 3D-сітку та налаштувати її, щоб додати відповідні риси обличчя, клітку, оснащення та текстури, по суті, перетворивши статичну 3D-сітку на аватар Roblox. Нарешті, інструмент редагування сітки дозволяє користувачам трансформувати та коригувати модель, щоб зробити її більш схожою на ту версію, яку вони собі уявляють. І все це відбувається швидко — за лічені хвилини — створюється новий аватар, який можна імпортувати в Roblox і використовувати в досвіді.

Модерація голосового спілкування

ШІ для нас — це не лише створення, це також набагато ефективніша система для забезпечення різноманітної, безпечної та громадянської спільноти в масштабах. Оскільки ми починаємо розгортати нові голосові функції, зокрема голосовий чат і Roblox Connect, нову функцію виклику як вашого аватара та API, анонсовані на RDC, перед нами постає новий виклик — модерація розмовної мови в режимі реального часу. Поточним галузевим стандартом для цього є процес, відомий як автоматичне розпізнавання мовлення (ASR), який, по суті, бере аудіофайл, транскрибує його для перетворення на текст, а потім аналізує текст на пошук невідповідної мови, ключових слів тощо. 

Це добре працює для компаній, які використовують його в меншому масштабі, але, досліджуючи використання цього самого процесу ASR для модерування голосового зв’язку, ми швидко зрозуміли, що це складно та неефективно в нашому масштабі. Цей підхід також втрачає неймовірно цінну інформацію, закодовану в гучності та тоні голосу мовця, а також у ширшому контексті розмови. З мільйонів хвилин розмов, які нам довелося б транскрибувати щодня різними мовами, лише дуже невеликий відсоток, можливо, звучав би як щось недоречне. І в міру того, як ми продовжуємо масштабуватися, ця система потребуватиме все більшої обчислювальної потужності, щоб не відставати. Тож ми детальніше розглянули, як ми можемо зробити це ефективніше, побудувавши конвеєр, який іде безпосередньо від живого аудіо до маркування вмісту, щоб вказати, порушує він нашу політику чи ні.

Зрештою, ми змогли створити власну систему виявлення голосу за допомогою ASR для класифікації наших внутрішніх наборів голосових даних, а потім використовувати ці секретні голосові дані для навчання системи. Точніше, щоб навчити цю нову систему, ми починаємо з аудіо та створюємо стенограму. Потім ми запускаємо стенограму через нашу систему текстових фільтрів Roblox, щоб класифікувати аудіо. Ця система текстових фільтрів чудово допомагає виявити мову, що порушує політику Roblox, оскільки ми роками оптимізували цю саму систему фільтрів для сленгу, абревіатур і жаргону Roblox. Наприкінці цих рівнів навчання ми маємо модель, яка здатна виявляти порушення політики безпосередньо зі звуку в режимі реального часу.

Хоча ця система має здатність виявляти конкретні ключові слова, наприклад ненормативну лексику, порушення політики рідко полягають лише в одному слові. Одне слово часто може здаватися проблематичним в одному контексті та просто добре в іншому контексті. По суті, ці типи порушень стосуються того, що ви говорите, як ви це говорите та контексту, у якому зроблені заяви.

Щоб краще розуміти контекст, ми використовуємо природну потужність архітектури на основі трансформатора, яка дуже добре підходить для узагальнення послідовності. Він може взяти послідовність даних, наприклад аудіопотік, і узагальнити їх для вас. Ця архітектура дає нам змогу зберігати довший звуковий ряд, щоб ми могли розпізнавати не лише слова, а й контекст та інтонації. Після того, як усі ці елементи об’єднаються, ми отримаємо остаточну систему, де входом є аудіо, а виходом є класифікація — порушує політику чи ні. Ця система може виявляти ключові слова та фрази, що порушують політику, а також тон, почуття та інший контекст, важливий для визначення наміру. Ця нова система, яка виявляє мовлення, що порушує політику, безпосередньо з аудіо, значно ефективніша за обчислення, ніж традиційна система ASR, що значно полегшить її масштабування, оскільки ми продовжуємо переосмислювати те, як люди збираються разом.

Нам також потрібен був новий спосіб попередити користувачів наших інструментів голосового спілкування про потенційні наслідки такого типу мови. Маючи в своєму розпорядженні цю інноваційну систему виявлення, ми зараз експериментуємо зі способами впливу на поведінку в Інтернеті для підтримки безпечного середовища. Ми знаємо, що іноді люди ненавмисно порушують нашу політику, і ми хочемо зрозуміти, чи може випадкове нагадування допомогти запобігти подальшим порушенням. Щоб допомогти в цьому, ми експериментуємо з відгуками користувачів у реальному часі за допомогою сповіщень. Якщо система виявить, що ви сказали щось, що порушує нашу політику, кілька разів, ми відобразимо спливаюче сповіщення на вашому екрані з інформацією про те, що ваша мова порушує нашу політику, і спрямує вас до нашої політики для отримання додаткової інформації.

Однак сповіщення про голосовий потік є лише одним із елементів системи модерації. Ми також розглядаємо моделі поведінки на платформі, а також скарги інших користувачів Roblox, щоб керувати нашими загальними рішеннями модерації. Сукупність цих сигналів може призвести до серйозніших наслідків, зокрема до скасування доступу до аудіофункцій або повної заборони доступу до платформи за серйозніші порушення. Підтримання безпеки та громадянства нашої спільноти є критично важливим, оскільки ці досягнення в мультимодальних моделях штучного інтелекту, генеративному штучному інтелекті та магістрах права об’єднуються, щоб створити неймовірні нові інструменти та можливості для творців. 

Ми вважаємо, що надання творцям цих інструментів знизить бар’єр для входу для менш досвідчених творців і звільнить більш досвідчених творців від більш виснажливих завдань цього процесу. Це дозволить їм приділяти більше часу винахідницьким аспектам тонкого налаштування та створення ідей. Наша ціль у всьому цьому полягає в тому, щоб дозволити кожному, будь-де втілювати свої ідеї в життя та значно збільшити різноманітність аватарів, предметів і досвіду, доступних на Roblox. Ми також обмін інформацією та інструментами для захисту нових творінь. 

Ми вже уявляємо дивовижні можливості: скажімо, хтось може створити аватар-двійника безпосередньо з фотографії, потім він може налаштувати свій аватар, щоб зробити його вищим або відобразити в стилі аніме. Або вони можуть створити досвід, попросивши Асистента додати автомобілі, будівлі та пейзажі, встановити освітлення чи вітер або змінити рельєф. Звідти вони могли повторювати, щоб уточнювати речі, просто вводячи вперед і назад за допомогою Асистента. Ми знаємо, що реальність того, що люди створюють за допомогою цих інструментів, коли вони стануть доступними, виходить за межі того, що ми можемо навіть уявити.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• ChartPrime. Розвивайте свою торгову гру за допомогою ChartPrime. Доступ тут.
• BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
• джерело: https://blog.roblox.com/2023/09/revolutionizing-creation-roblox/