Ми глибоко віддані проведенню відповідальних досліджень із залученням спільноти в усіх сферах, включаючи штучний інтелект (ШІ). Ми досягаємо цього завдяки прозорості, зовнішній перевірці та підтримці академічних установ через співпрацю та спонсорство. Цей підхід дозволяє нам прискорити досягнення найбільших досягнень у наших трьох сферах: генеративний штучний інтелект, масштабування центру обробки даних і онлайн-безпека. Сьогодні ми ділимося ідеєю та результатами двох наших генеративних дослідницьких проектів ШІ. ControlNet це нейронна мережа з відкритим вихідним кодом, яка додає умовне керування моделям генерації зображень для більш точних виходів зображень. StarCoder це найсучасніша велика мовна модель (LLM) з відкритим кодом для створення коду.
Обидва проекти є академічною та промисловою співпрацею. Обидва також зосереджені на радикально більш потужних інструментах для наших творців: 3D-художників і програмістів. Найважливіше, і відповідно до нашої місії інвестування в довгострокову перспективу через трансформаційні дослідження, ці проекти демонструють ознаки прогресу в фундаментальному науковому розумінні та контролі ШІ для багатьох застосувань. Ми віримо, що ця робота може суттєво вплинути на майбутнє Roblox і галузі в цілому, і з гордістю відкрито ділимося нею.
ControlNet
Нещодавні прориви штучного інтелекту — зокрема методи машинного навчання на основі даних (ML) із використанням глибоких нейронних мереж — сприяли розвитку нових інструментів створення. Ці досягнення включають наші Code Assist та Генератор матеріалів функції, які є загальнодоступними в нашому безкоштовному інструменті Roblox Studio. Сучасні генеративні системи ШІ містять структури даних, які називаються моделями, які вдосконалюються за допомогою мільярдів операцій навчання. Найпотужніші моделі сьогодні є мультимодальними, тобто вони тренуються на суміші медіа, як-от текст, зображення та аудіо. Це дозволяє їм знаходити загальні базові значення в усіх носіях, а не переналаштовувати певні елементи набору даних, такі як кольорові палітри чи правопис.
Ці нові системи штучного інтелекту мають значну експресивну силу, але ця сила в основному керується «швидким проектуванням». Це означає просто змінити введений текст, подібно до уточнення запиту пошукової системи, якщо він не повернув те, що ви очікували. Хоча це може бути захоплюючим способом гри з новою технологією, такою як ненаправлений чат-бот, це не ефективний спосіб створення вмісту. Натомість творцям потрібні потужні інструменти, які вони можуть ефективно використовувати за допомогою активного контролю, а не здогадок.
Проект ControlNet є кроком до вирішення деяких із цих проблем. Він пропонує ефективний спосіб використовувати потужність великих попередньо навчених моделей ШІ, таких як Стабільна дифузія, не покладаючись на оперативне проектування. ControlNet збільшує контроль, дозволяючи художнику надавати додаткові умови введення, окрім лише текстових підказок. Дослідник Roblox і професор Стенфордського університету Манеш Агравала та дослідник Стенфордського університету Лвмін Чжан формулюють цілі нашого спільного проекту ControlNet як:
- Розробіть кращий інтерфейс користувача для генеративних інструментів ШІ. Відходьте від незрозумілих оперативних маніпуляцій і створюйте більш природні способи передачі ідеї чи творчої концепції.
- Забезпечте більш точний просторовий контроль, щоб вийти за рамки створення «зображення, схожого на» або «зображення в стилі…», щоб реалізувати саме той образ, який творець має в голові.
- Перетворіть генеративне навчання штучного інтелекту на більш ефективний з обчислень процес, який виконується швидше, потребує менше пам’яті та споживає менше електроенергії.
- Розширте ШІ, що генерує зображення, у багаторазовий будівельний блок. Потім його можна інтегрувати зі стандартизованою обробкою зображень і конвеєрами 3D-рендерінгу.
Дозволяючи творцям надавати додаткове зображення для просторового контролю, ControlNet забезпечує більший контроль над кінцевим згенерованим зображенням. Наприклад, підказка «самець оленя з рогами» в існуючому генераторі перетворення тексту в зображення створила широкий спектр зображень, як показано нижче:
Ці зображення, створені за допомогою попередніх рішень штучного інтелекту, привабливі, але, на жаль, по суті довільні результати — немає контролю. У цих попередніх системах генерування зображень немає способу керувати виводом, окрім перегляду текстової підказки.
Завдяки ControlNet творець тепер має набагато більше можливостей. Одним із способів використання ControlNet є надання як підказки, так і вихідного зображення для визначення загальної форми, якої слід дотримуватися. У цьому випадку отримані зображення будуть різноманітними, але, що важливо, збережуть задану форму:
Творець міг також вказати набір країв, зображення взагалі без підказок або багато інших способів надання виразного введення в систему.
Щоб створити ControlNet, ми клонуємо вагові коефіцієнти в мережі великої дифузійної моделі на дві версії. Одним є навчена мережа (це забезпечує керування; це «ControlNet»), а інше — це заблокована мережа. Заблокована мережа зберігає можливості, отримані з мільярдів зображень, і може бути будь-яким попереднім генератором зображень. Потім ми навчаємо мережу, яку можна навчити, на наборах даних для певного завдання, щоб навчитися умовного керування з додаткового зображення. Навчальні та заблоковані копії з’єднані з унікальним типом шару згортки, який ми називаємо нульова згортка, де ваги згортки поступово зростають від нуля до оптимізованих параметрів у вивчений спосіб, що означає, що спочатку вони не впливають, і система отримує оптимальний рівень контролю для застосування до заблокованої мережі.
Оскільки вихідні ваги зберігаються через заблоковану мережу, модель добре працює з навчальними наборами даних різного розміру. А шар нульової згортки робить процес набагато швидшим — ближче до тонкого налаштування дифузійної моделі, ніж навчання нових шарів з нуля.
Ми провели широку перевірку цієї техніки для створення зображень. ControlNet не лише покращує якість вихідного зображення. Це також робить навчання мережі для виконання конкретного завдання більш ефективним і практичним для масштабного розгортання для мільйонів наших творців. Під час експериментів ControlNet забезпечує до 10-кратного підвищення ефективності порівняно з альтернативними сценаріями, які потребують повного перенавчання моделі. Ця ефективність має вирішальне значення, оскільки процес створення нових моделей займає багато часу та ресурсів порівняно з традиційною розробкою програмного забезпечення. Підвищення ефективності навчання економить електроенергію, знижує витрати та збільшує швидкість додавання нових функцій.
Унікальна структура ControlNet означає, що він добре працює з навчальними наборами даних різного розміру та на різних типах носіїв. Доведено, що ControlNet працює з багатьма різними типами засобів керування, включаючи фотографії, намальовані каракулі та відкрита поза визначення пози. Ми вважаємо, що ControlNet можна застосовувати до багатьох різних типів носіїв для генеративного AI-контенту. Це дослідження є відкритим і загальнодоступним для спільноти, щоб експериментувати з нею та розвивати її, і ми продовжуватимемо надавати більше інформації, коли ми робимо нові відкриття з нею.
StarCoder
Генеративний штучний інтелект можна застосувати для створення зображень, аудіо, тексту, вихідного коду програми або будь-якої іншої форми мультимедійного вмісту. Однак у різних засобах масової інформації найбільш успішними є ті додатки, результати яких оцінюються суб’єктивно. Наприклад, зображення має успіх, коли воно приваблює глядача. Певні помилки на зображенні, як-от дивні риси на краях або навіть зайвий палець на руці, можуть бути непомічені, якщо загальне зображення переконливе. Подібним чином у вірші чи оповіданні можуть бути граматичні помилки чи деякі логічні стрибки, але якщо суть переконлива, ми схильні їх пробачати.
Інший спосіб розгляду суб'єктивних критеріїв полягає в тому, що простір результатів є безперервним. Один результат може бути кращим за інший, але немає конкретного порогу, за якого результат є цілком прийнятним або неприйнятним. Для інших областей і форм медіа результат оцінюється об’єктивно. Наприклад, вихідний код, створений помічником із генеративного програмування штучного інтелекту, правильний чи ні. Якщо код не може пройти перевірку, він проходить невдачу, навіть якщо він схожий на код правильного рішення. Це дискретний простір результатів. У дискретному просторі важче досягти успіху як через суворіші критерії, так і через те, що неможливо поступово наблизитися до хорошого рішення — код ламається до тих пір, поки він раптом не запрацює.
LLM, які використовуються для виведення тексту, добре працюють для суб’єктивних безперервних програм, таких як чат-боти. Здається, вони також добре працюють для створення прози багатьма людськими мовами, такими як англійська та французька. Однак існуючі LLM, здається, не працюють так добре Програмування мови, як вони це роблять для тих людських мов. Код — це форма математики, яка є зовсім іншим, об’єктивним способом вираження значення, ніж природна мова. Це дискретний простір результатів замість безперервного простору результатів. Щоб досягти найвищої якості генерації коду мовою програмування для творців Roblox, нам потрібні методи застосування LLM, які можуть добре працювати в цьому дискретному об’єктивному просторі. Нам також потрібні надійні методи для вираження функціональності коду незалежно від синтаксису певної мови, наприклад Lua, JavaScript або Python.
StarCoder, новий найсучасніший LLM з відкритим вихідним кодом для створення коду, є серйозним прогресом у цій технічній проблемі та дійсно відкритим LLM для всіх. StarCoder є одним із результатів BigCode дослідницький консорціум, до складу якого входять понад 600 членів із академічних та галузевих дослідницьких лабораторій. Дослідник Roblox і професор Північно-східного університету Арджун Гуха допоміг очолити цю команду в розробці StarCoder. Ці перші опубліковані результати зосереджені виключно на аспекті коду, який є областю, у якій галузь найбільше потребує нового розвитку, враховуючи відносний успіх суб’єктивних методів.
Щоб забезпечити генеративний штучний інтелект за допомогою LLM, які підтримують більшу екосистему штучного інтелекту та спільноту Roblox, нам потрібні моделі, які пройшли навчання виключно на відповідних ліцензованих і відповідально зібраних наборах даних. Вони також повинні мати необмежені ліцензії, щоб будь-хто міг ними користуватися, будувати на них і робити внески в екосистему. Сьогодні найпотужніші LLM є власністю або ліцензовані для обмежених форм комерційного використання, що забороняє або обмежує можливість дослідників експериментувати з самою моделлю. На відміну від цього, StarCoder є справді відкритою моделлю, створеною коаліцією галузевих і академічних дослідників і ліцензованою без обмежень для комерційного застосування в будь-якому масштабі. StarCoder навчається виключно на відповідально зібраному та відповідно ліцензованому вмісті. Спочатку модель навчалася на відкритому коді, і для тих, хто не бажає використовувати свій код для навчання, доступний процес відмови.
Сьогодні StarCoder працює на 86 різних мовах програмування, включаючи Python, C++ і Java. На момент публікації статті він перевершував усі LLM з відкритим кодом, які підтримують кілька мов, і навіть був конкурентоспроможним із багатьма закритими пропрієтарними моделями.
StarCoder LLM – це внесок в екосистему, але наші дослідницькі цілі набагато глибші. Найбільший вплив цього дослідження полягає в просуванні семантичного моделювання як об’єктивних, так і суб’єктивних мультимодальних моделей, включаючи код, текст, зображення, мову, відео, а також для підвищення ефективності навчання за допомогою методів передачі домену. Ми також очікуємо отримати глибоке розуміння зручності обслуговування та керованості генеративного ШІ для об’єктивних завдань, таких як генерація вихідного коду. Існує велика різниця між інтригуючою демонстрацією нових технологій і безпечним, надійним і ефективним продуктом, який приносить цінність спільноті користувачів. Для наших моделей ML ми оптимізуємо продуктивність за обсягом пам’яті, енергозбереженням і часом виконання. Ми також розробили надійну інфраструктуру, оточили ядро штучного інтелекту програмним забезпеченням для підключення його до решти системи та розробили бездоганну систему для частих оновлень у міру додавання нових функцій.
Об’єднання вчених та інженерів Roblox із одними з найгостріших умів наукового співтовариства є ключовим компонентом у нашому прагненні до проривних технологій. Ми з гордістю ділимося цими першими результатами та запрошуємо дослідницьке співтовариство співпрацювати з нами та розвивати ці досягнення.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- ChartPrime. Розвивайте свою торгову гру за допомогою ChartPrime. Доступ тут.
- BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
- джерело: https://blog.roblox.com/2023/09/controlnet-starcoder-roblox-research-advancements-generative-ai/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 3d
- 3D-рендерінг
- a
- здатність
- академічний
- прискорювати
- прийнятний
- Achieve
- досягнення
- через
- активний
- доданий
- Додатковий
- Додає
- просування
- досягнення
- аванси
- просування
- AI
- Моделі AI
- ai дослідження
- Системи ШІ
- Навчання AI
- вирівняні
- ВСІ
- Дозволити
- дозволяє
- Також
- альтернатива
- an
- та
- Інший
- будь-який
- будь
- Звернення
- додаток
- застосування
- прикладної
- Застосування
- підхід
- відповідним чином
- ЕСТЬ
- ПЛОЩА
- області
- навколо
- штучний
- штучний інтелект
- Штучний інтелект (AI)
- художник
- Художники
- AS
- зовнішній вигляд
- Помічник
- At
- привабливий
- аудіо
- доступний
- назад
- BE
- ведмідь
- оскільки
- було
- Вірити
- нижче
- Краще
- між
- За
- Великий
- мільярди
- Блокувати
- Блог
- обидва
- прорив
- прориви
- Приносить
- Зламаний
- будувати
- Створюємо
- але
- by
- C + +
- call
- званий
- CAN
- не може
- можливості
- випадок
- Центр
- певний
- виклик
- проблеми
- заміна
- Chatbot
- chatbots
- закрито
- ближче
- коаліція
- код
- співробітництво
- Співробітництво
- color
- комерційний
- вчинено
- загальний
- спілкування
- співтовариство
- порівняний
- переконливий
- конкурентоспроможний
- повністю
- компонент
- концепція
- Умови
- З'єднуватися
- підключений
- ЗБЕРЕЖЕННЯ
- беручи до уваги
- консорціуму
- містити
- зміст
- продовжувати
- безперервний
- контрастність
- сприяти
- внесок
- контроль
- copies
- Core
- виправити
- витрати
- може
- створювати
- створений
- створення
- створення
- Креатив
- творець
- Творці
- Критерії
- критичний
- вирішальною мірою
- дані
- Центр обробки даних
- набір даних
- набори даних
- керовані даними
- глибокий
- глибокі нейронні мережі
- глибше
- Олень
- доставляти
- розгортання
- Виявлення
- Визначати
- розвивати
- розвиненою
- розробка
- різниця
- різний
- радіомовлення
- do
- Ні
- справи
- домени
- Не знаю
- керований
- Рано
- екосистема
- Ефективний
- фактично
- ефективність
- ефективний
- або
- електрика
- елементи
- з'являються
- Нові технології
- включіть
- енергія
- займатися
- зайнятий
- залучення
- двигун
- Машинобудування
- Інженери
- англійська
- помилки
- по суті
- Навіть
- Кожен
- все
- точно
- приклад
- Крім
- виключно
- Виконує
- виконання
- проявляти
- існуючий
- очікувати
- очікуваний
- експеримент
- Експерименти
- виразний
- обширний
- зовнішній
- додатково
- зазнає невдачі
- швидше
- риси
- поле
- остаточний
- знайти
- палець
- Перший
- Сфокусувати
- увагу
- стежити
- Слід
- для
- форма
- форми
- FRAME
- Безкоштовна
- французька
- частий
- від
- повністю
- функціональність
- фундаментальний
- майбутнє
- Отримувати
- зібраний
- Загальне
- генерується
- породжує
- покоління
- генеративний
- Генеративний ШІ
- generator
- даний
- Go
- мета
- Цілі
- йде
- добре
- гранти
- великий
- найбільший
- Рости
- Зростання
- рука
- важче
- збруя
- Мати
- допоміг
- найвищий
- Однак
- HTTPS
- людина
- ідея
- if
- зображення
- генерація зображень
- зображень
- Impact
- удосконалювати
- in
- включати
- У тому числі
- Augmenter
- Збільшує
- незалежний
- показання
- промисловість
- вплив
- інформація
- Інфраструктура
- спочатку
- вхід
- розуміння
- замість
- установи
- інтегрований
- Інтелект
- інтерфейс
- в
- інтригуючий
- інвестування
- запрошувати
- включає в себе
- IT
- ЙОГО
- сам
- Java
- JavaScript
- спільна
- JPG
- судити
- просто
- ключ
- Labs
- мова
- мови
- великий
- в значній мірі
- більше
- шар
- шарів
- вести
- стрибки
- УЧИТЬСЯ
- вчений
- вивчення
- менше
- рівень
- Важіль
- Ліцензований
- ліцензії
- обмеженою
- рамки
- замкнений
- логічний
- Довго
- машина
- навчання за допомогою машини
- основний
- зробити
- РОБОТИ
- Робить
- Маніпуляція
- манера
- багато
- математика
- макс-ширина
- Може..
- сенс
- значення
- засоби
- Медіа
- члени
- пам'ять
- методика
- мільйони
- mind
- умів
- Місія
- суміш
- ML
- модальності
- модель
- моделювання
- Моделі
- сучасний
- більше
- більш ефективний
- найбільш
- рухатися
- багато
- множинний
- Природний
- Природна мова
- Необхідність
- потреби
- мережу
- мереж
- Нейронний
- нейронної мережі
- нейронні мережі
- Нові
- Нові можливості
- немає
- Північно-східний університет
- зараз
- мета
- об'єктивно
- of
- пропонувати
- Пропозиції
- on
- ONE
- онлайн
- відкрити
- з відкритим вихідним кодом
- відкрито
- операції
- оптимальний
- Оптимізувати
- оптимізований
- or
- оригінал
- Інше
- наші
- випереджаючий
- вихід
- над
- загальний
- параметри
- приватність
- проходити
- продуктивність
- виконується
- фотографії
- plato
- Інформація про дані Платона
- PlatoData
- Play
- влада
- потужний
- Практичний
- необхідність
- надавати перевагу
- попередній
- процес
- обробка
- виробляти
- Вироблений
- Product
- Професор
- програма
- Програмісти
- Програмування
- мови програмування
- поступово
- проект
- проектів
- власником
- гордий
- забезпечувати
- забезпечує
- забезпечення
- громадськість
- Публікація
- публічно
- опублікований
- переслідування
- Python
- якість
- швидко
- радикально
- ставка
- швидше
- розуміючи,
- знижує
- рафінований
- рафінування
- відносний
- надійний
- покладаючись
- надання
- вимагати
- Вимагається
- дослідження
- Дослідницьке співтовариство
- дослідник
- Дослідники
- ресурсомісткий
- відповідальний
- REST
- обмеження
- результат
- в результаті
- результати
- зберігає
- повертати
- багаторазовий
- Багаті
- право
- Roblox
- міцний
- Безпека
- шкала
- Масштабування
- сценарії
- науковий
- Вчені
- подряпати
- безшовні
- Пошук
- Пошукова система
- безпечний
- здається
- комплект
- набори
- Форма
- Поділитись
- поділ
- Найгостріший
- Короткий
- Повинен
- показаний
- значний
- аналогічний
- просто
- розміри
- So
- Софтвер
- розробка програмного забезпечення
- рішення
- Рішення
- Розв’язування
- деякі
- Source
- вихідні
- Простір
- просторовий
- конкретний
- конкретно
- зазначений
- мова
- орфографія
- спонсорство
- Станфорд
- Стенфордський університет
- впроваджений
- Крок
- Як і раніше
- Історія
- строгий
- структура
- структур
- студія
- стиль
- процвітати
- успіх
- такі
- підтримка
- Підтримуючий
- Опори
- оточений
- синтаксис
- система
- Systems
- Завдання
- завдання
- команда
- технічний
- методи
- Технологія
- тест
- текст
- ніж
- Що
- Команда
- Площа
- Майбутнє
- Джерело
- їх
- Їх
- потім
- Там.
- Ці
- вони
- це
- ті
- три
- поріг
- через
- Таким чином
- час
- до
- сьогодні
- разом
- інструмент
- інструменти
- до
- традиційний
- поїзд
- навчений
- Навчання
- перетворювальний
- прозорість
- по-справжньому
- два
- тип
- Типи
- що лежить в основі
- розуміння
- на жаль
- створеного
- університет
- до
- Updates
- на
- us
- використання
- використовуваний
- користувач
- Інтерфейс користувача
- використання
- перевірка достовірності
- значення
- різноманітність
- різний
- дуже
- через
- Відео
- вид
- було
- шлях..
- способи
- we
- ДОБРЕ
- Що
- коли
- який
- в той час як
- ВООЗ
- всі
- широкий
- з
- в
- без
- Work
- працює
- б
- ви
- зефірнет
- нуль