Revolucionando a criação no Roblox com IA generativa - Roblox Blog

Revolucionando a criação no Roblox com IA generativa – Roblox Blog

Carimbo de data / hora: 11 de setembro de 2023, 12:17
Nó Fonte: 2874293

No início deste ano, compartilhamos nosso visão para inteligência artificial generativa (IA) no Roblox e as novas ferramentas intuitivas que permitirão que cada usuário se torne um criador. À medida que essas ferramentas evoluem rapidamente em todo o setor, gostaria de fornecer algumas atualizações sobre o progresso que fizemos, o caminho que ainda temos pela frente para democratizar a criação de IA generativa e por que achamos que a IA generativa é um elemento crítico para o rumo que Roblox está tomando. 

Os avanços na IA generativa e nos grandes modelos de linguagem (LLMs) apresentam uma oportunidade incrível para desbloquear o futuro das experiências imersivas, permitindo uma criação mais fácil e rápida, mantendo a segurança e sem exigir recursos computacionais massivos. Além disso, os avanços nos modelos de IA que são multimodais, o que significa que são treinados com vários tipos de conteúdo – como imagens, código, texto, modelos 3D e áudio – abrem a porta para novos avanços em ferramentas de criação. Esses mesmos modelos estão começando a produzir também saídas multimodais, como um modelo que pode criar uma saída de texto, bem como alguns recursos visuais que complementam o texto. Vemos essas inovações em IA como uma enorme oportunidade para aumentar simultaneamente a eficiência para criadores mais experientes e permitir que ainda mais pessoas dêem vida a grandes ideias no Roblox. Neste ano Conferência de Desenvolvedores Roblox (RDC), anunciamos várias novas ferramentas que trarão IA generativa para o Roblox Studio e muito mais para ajudar qualquer pessoa no Roblox a escalar mais rápido, iterar mais rapidamente e aprimorar suas habilidades para criar conteúdo ainda melhor. 

Assistente Roblox

Roblox sempre forneceu aos criadores as ferramentas, Serviços e ajuda eles precisam construir experiências 3D imersivas. Ao mesmo tempo, vimos nossos criadores começarem a usar IA generativa e conversacional de terceiros para ajudá-los a criar. Embora sejam úteis para ajudar a reduzir a carga de trabalho do criador, essas versões prontas para uso não foram projetadas para fluxos de trabalho Roblox de ponta a ponta ou treinadas em código, gíria e linguagem Roblox. Isso significa que os criadores enfrentam um trabalho adicional significativo para usar essas versões para criar conteúdo para Roblox. Temos trabalhado em maneiras de agregar o valor dessas ferramentas ao Roblox Studio e, na RDC, compartilhamos um dos primeiros exemplos do Assistant.

Assistant é nossa IA conversacional que permite que criadores de todos os níveis de habilidade gastem significativamente menos tempo em tarefas mundanas e repetitivas envolvidas na criação e mais tempo em atividades de alto valor, como narrativa, jogabilidade e design de experiência. A Roblox está numa posição única para construir este modelo de IA conversacional para mundos 3D imersivos, graças ao nosso acesso a um grande conjunto de modelos 3D públicos para treinamento, à nossa capacidade de integrar um modelo com nossas APIs de plataforma e ao nosso conjunto crescente de soluções inovadoras de IA. . Os criadores poderão usar prompts de texto em linguagem natural para criar cenas, editar modelos 3D e aplicar comportamentos interativos a objetos. O Assistant apoiará as três fases de criação: aprendizagem, codificação e construção:

  • Aprendizagem: Seja um criador novato no desenvolvimento no Roblox ou um veterano experiente, o Roblox Assistant ajudará a responder perguntas em uma ampla variedade de superfícies usando linguagem natural. 
  • Codificação: O Assistant expandirá nosso recente Assistente de código ferramenta. Por exemplo, os desenvolvedores podem pedir ao Assistente para melhorar seu código, explicar uma seção do código ou ajudar a depurar e sugerir correções para códigos que não estão funcionando corretamente.
  • Construção: O Assistant ajudará os criadores a criar protótipos de novas ideias rapidamente. Por exemplo, um novo criador poderia gerar cenas inteiras e experimentar diferentes versões simplesmente digitando um prompt como “Adicione algumas luzes de rua ao longo desta estrada” ou “Faça uma floresta com diferentes tipos de árvores. Agora adicione alguns arbustos e flores.”

Trabalhar com o Assistant será colaborativo, interativo e iterativo, permitindo que os criadores forneçam feedback e façam com que o Assistant trabalhe para fornecer a solução certa. Será como ter um criador especialista como parceiro com quem você pode trocar ideias e testá-las até acertar.

frameborder=”0″ allow=”acelerômetro; Reprodução automática; prancheta-escrever; mídia criptografada; giroscópio; imagem em imagem; web-share” allowfullscreen>

Para tornar o Assistant o melhor parceiro possível, fizemos outro anúncio na RDC: convidamos desenvolvedores para optar por participar para contribuir com seus dados anônimos do script Luau. Esses dados de script ajudarão a tornar nossas ferramentas de IA, como Code Assist e Assistant, significativamente melhores na sugestão e criação de códigos mais eficientes, retribuindo aos desenvolvedores Roblox que os utilizam. Além disso, se os desenvolvedores optarem por compartilhar além do Roblox, seus dados de script serão adicionados a um conjunto de dados disponibilizado a terceiros para treinar suas ferramentas de bate-papo de IA para serem melhores na sugestão de código Luau, retribuindo aos desenvolvedores Luau em todos os lugares.

Para ser claro, por meio de pesquisas abrangentes de usuários e conversas transparentes com os principais desenvolvedores, projetamos isso para ser opcional e ajudaremos a garantir que todos os participantes entendam e concordem com o que o programa envolve. Como agradecimento àqueles que optarem por participar do compartilhamento de dados de script com Roblox, concederemos acesso às versões mais poderosas do Assistant e Code Assist que são alimentadas por este modelo treinado pela comunidade. Aqueles que não aceitaram continuarão a ter acesso à nossa versão existente do Assistant e do Code Assist.

Criação de avatar mais fácil 

Em última análise, queremos que cada um dos nossos 65.5 milhões de usuários diários tenha um avatar que realmente os represente e expresse quem eles são. Recentemente, lançamos a possibilidade de nossos membros do programa UGC crie e venda corpos de avatar e cabeças independentes. Hoje, esse processo requer acesso ao Studio ou ao nosso programa UGC, um nível bastante alto de habilidade e vários dias de trabalho para permitir expressão facial, movimento corporal, rigging 3D, etc. data, limitou o número de opções disponíveis. Queremos ir ainda mais longe.

Para permitir que todos no Roblox tenham um avatar personalizado e expressivo, precisamos tornar os avatares muito fáceis de gerar e personalizar. Na RDC, anunciamos uma nova ferramenta que lançaremos em 2024 que permitirá a fácil criação de um avatar personalizado a partir de uma imagem ou de várias imagens. Com esta ferramenta, qualquer criador com acesso ao Studio ou ao nosso programa UGC poderá fazer upload de uma imagem, criar um avatar para ele e modificá-lo como quiser. No longo prazo, pretendemos disponibilizar isso também diretamente nas experiências do Roblox.

Para tornar isso possível, estamos treinando modelos de IA no esquema de avatar do Roblox e em um conjunto de modelos de avatar 3D de propriedade do Roblox. Uma abordagem aproveita pesquisa para gerar avatares estilizados em 3D a partir de imagens 2D. Também estamos pensando em usar modelos de difusão de texto para imagem pré-treinados para aumentar dados de treinamento 3D limitados com técnicas generativas 2D e usar uma rede de geração 3D baseada em rede adversária generativa (GAN) para treinamento. Finalmente, estamos trabalhando no uso ControlNet para colocar poses predefinidas para guiar as imagens de visualização múltipla resultantes dos avatares. 

Este processo produz uma malha 3D para o avatar. Em seguida, aproveitamos o 3D pesquisa de segmentação semântica, treinado em poses de avatar 3D, para pegar essa malha 3D e ajustá-la para adicionar características faciais, gaiolas, cordames e texturas apropriadas, em essência, transformando a malha 3D estática em um avatar Roblox. Finalmente, uma ferramenta de edição de malha permite aos usuários transformar e ajustar o modelo para torná-lo mais parecido com a versão que estão imaginando. E tudo isso acontece rapidamente – em poucos minutos – gerando um novo avatar que pode ser importado para o Roblox e usado em uma experiência.

frameborder=”0″ allow=”acelerômetro; Reprodução automática; prancheta-escrever; mídia criptografada; giroscópio; imagem em imagem; web-share” allowfullscreen>

Moderando a comunicação de voz

Para nós, a IA não se trata apenas de criação, é também um sistema muito mais eficiente para garantir uma comunidade diversificada, segura e civil, em grande escala. À medida que começamos a lançar novos recursos de voz, incluindo chat de voz e Roblox Connect, o novo recurso de chamada como avatar e APIs anunciadas na RDC, enfrentamos um novo desafio: moderar a linguagem falada em tempo real. O padrão atual da indústria para isso é um processo conhecido como Reconhecimento Automático de Fala (ASR), que essencialmente pega um arquivo de áudio, transcreve-o para convertê-lo em texto e, em seguida, analisa o texto em busca de linguagem, palavras-chave inadequadas, etc. 

Isso funciona bem para empresas que o utilizam em menor escala, mas à medida que exploramos o uso desse mesmo processo ASR para moderar a comunicação de voz, rapidamente percebemos que é difícil e ineficiente em nossa escala. Essa abordagem também perde informações extremamente valiosas que estão codificadas no volume e no tom de voz do locutor, bem como no contexto mais amplo da conversa. Dos milhões de minutos de conversa que teríamos de transcrever todos os dias, em diferentes idiomas, apenas uma percentagem muito pequena poderia soar como algo inapropriado. E à medida que continuamos a crescer, esse sistema exigiria cada vez mais poder de computação para acompanhar. Por isso, analisamos mais de perto como poderíamos fazer isso de forma mais eficiente, construindo um pipeline que vai diretamente do áudio ao vivo até a rotulagem do conteúdo para indicar se ele viola nossas políticas ou não.

Por fim, conseguimos construir um sistema interno de detecção de voz personalizado usando ASR para classificar nossos conjuntos de dados de voz internos e, em seguida, usar esses dados de voz classificados para treinar o sistema. Mais especificamente, para treinar este novo sistema, começamos com áudio e criamos uma transcrição. Em seguida, executamos a transcrição em nosso sistema de filtro de texto Roblox para classificar o áudio. Este sistema de filtro de texto é ótimo para detectar linguagem que viola políticas no Roblox, já que otimizamos esse mesmo sistema de filtro há anos em gírias, abreviações e jargões específicos do Roblox. Ao final dessas camadas de treinamento, temos um modelo capaz de detectar violações de políticas diretamente do áudio em tempo real.

Embora este sistema tenha a capacidade de detectar palavras-chave específicas, como palavrões, as violações de políticas raramente são apenas uma palavra. Muitas vezes, uma palavra pode parecer problemática em um contexto e perfeitamente adequada em um contexto diferente. Essencialmente, esses tipos de violações envolvem o que você diz, como você diz e o contexto em que as declarações são feitas.

Para melhorar a compreensão do contexto, aproveitamos o poder nativo de uma arquitetura baseada em transformador, que é muito boa no resumo de sequências. Ele pode pegar uma sequência de dados, como um fluxo de áudio, e resumi-la para você. Essa arquitetura nos permite preservar uma sequência de áudio mais longa para que possamos detectar não apenas palavras, mas também contexto e entonações. Depois que todos esses elementos se juntam, temos um sistema final onde a entrada é o áudio e a saída é uma classificação – viola a política ou não. Este sistema pode detectar palavras-chave e frases que violam políticas, mas também tom, sentimento e outros contextos que são importantes para determinar a intenção. Este novo sistema, que detecta discursos que violam políticas diretamente do áudio, é significativamente mais eficiente em termos de computação do que um sistema ASR tradicional, o que tornará muito mais fácil a sua escalabilidade à medida que continuamos a reimaginar a forma como as pessoas se reúnem.

Também precisávamos de uma nova forma de alertar aqueles que utilizam as nossas ferramentas de comunicação de voz sobre as potenciais consequências deste tipo de linguagem. Com este sistema de detecção inovador à nossa disposição, estamos agora a experimentar formas de afectar o comportamento online para manter um ambiente seguro. Sabemos que às vezes as pessoas violam nossas políticas de forma não intencional e queremos entender se um lembrete ocasional pode ajudar a prevenir novas infrações. Para ajudar com isso, estamos testando o feedback do usuário em tempo real por meio de notificações. Se o sistema detectar que você disse algo que viola nossas políticas algumas vezes, exibiremos uma notificação pop-up em sua tela informando que seu idioma viola nossas políticas e direcionaremos você para nossas políticas para obter mais informações.

No entanto, as notificações de transmissão de voz são apenas um elemento do sistema de moderação. Também analisamos os padrões de comportamento na plataforma, bem como as reclamações de outras pessoas no Roblox, para orientar nossas decisões gerais de moderação. A agregação desses sinais pode resultar em consequências mais graves, incluindo a revogação do acesso a recursos de áudio ou, em infrações mais graves, o banimento total da plataforma. Manter nossa comunidade segura e civilizada é fundamental, pois esses avanços em modelos de IA multimodais, IA generativa e LLMs se unem para permitir novas ferramentas e recursos incríveis para os criadores. 

Acreditamos que fornecer essas ferramentas aos criadores diminuirá a barreira de entrada para criadores menos experientes e libertará os criadores mais experientes das tarefas mais tediosas deste processo. Isso permitirá que eles dediquem mais tempo aos aspectos criativos do ajuste fino e da concepção de ideias. Nosso objetivo com tudo isso é permitir que todos, em todos os lugares, dêem vida às suas ideias e aumentem enormemente a diversidade de avatares, itens e experiências disponíveis no Roblox. Nós também somos compartilhando informações e ferramentas para ajudar a proteger novas criações. 

Já estamos imaginando possibilidades incríveis: digamos que alguém seja capaz de criar um avatar doppelganger diretamente de uma foto, ele poderia então personalizar seu avatar para torná-lo mais alto ou renderizá-lo no estilo anime. Ou eles poderiam criar uma experiência pedindo ao Assistente para adicionar carros, edifícios e cenários, definir condições de iluminação ou vento ou alterar o terreno. A partir daí, eles poderiam iterar para refinar as coisas apenas digitando com o Assistente. Sabemos que a realidade daquilo que as pessoas criam com estas ferramentas, à medida que se tornam disponíveis, irá muito além do que podemos imaginar.

Carimbo de hora:

Mais de Roblox