Eficiência de IA empolgante: a combinação de modelos menores supera suas contrapartes grandes

Eficiência de IA empolgante: a combinação de modelos menores supera suas contrapartes grandes

Carimbo de hora: 18 de janeiro de 2024, 9h48
Nó Fonte: 3069830

In recent years, the field of conversational AI has been significantly influenced by models like ChatGPT, characterized by their expansive parameter sizes. However, this approach comes with substantial demands on computational resources and memory. A study now introduces a novel concept: blending multiple smaller AI models to achieve or surpass the performance of larger models. This approach, termed “Blending,” integra múltiplas IAs de chat, oferecendo uma solução eficaz para os desafios computacionais de grandes modelos.

A pesquisa, realizada durante trinta dias com uma grande base de usuários na plataforma de pesquisa Chai, mostra que a combinação de modelos menores específicos pode potencialmente superar ou igualar as capacidades de modelos muito maiores, como o ChatGPT. Por exemplo, a integração de apenas três modelos com parâmetros 6B/13B pode rivalizar ou até mesmo superar as métricas de desempenho de modelos substancialmente maiores, como ChatGPT com parâmetros 175B+.

A crescente dependência de grandes modelos de linguagem (LLMs) pré-treinados para diversas aplicações, especialmente em chat AI, levou a um aumento no desenvolvimento de modelos com um grande número de parâmetros. No entanto, estes grandes modelos requerem infraestrutura especializada e têm custos de inferência significativos, limitando a sua acessibilidade. A abordagem Blended, por outro lado, oferece uma alternativa mais eficiente sem comprometer a qualidade da conversação.

A eficácia da IA ​​combinada é evidente no envolvimento do usuário e nas taxas de retenção. Durante testes A/B em larga escala na plataforma CHAI, conjuntos combinados, compostos por três LLMs de parâmetros 6-13B, superaram o ChatGPT de parâmetros 175B+ da OpenAI, alcançando retenção e engajamento de usuários significativamente maiores. Isso indica que os usuários acharam as IAs de bate-papo combinadas mais envolventes, divertidas e úteis, ao mesmo tempo que exigem apenas uma fração do custo de inferência e sobrecarga de memória de modelos maiores.

A metodologia do estudo envolve agrupamento baseado em princípios estatísticos bayesianos, onde a probabilidade de uma resposta específica é conceituada como uma expectativa marginal tomada sobre todos os parâmetros plausíveis de IA de chat. Blended seleciona aleatoriamente a IA de chat que gera a resposta atual, permitindo que diferentes IAs de chat influenciem implicitamente a saída. Isso resulta em uma combinação de pontos fortes individuais de IA de chat, levando a respostas mais cativantes e diversificadas.

Os avanços nas tendências de IA e aprendizado de máquina para 2024 enfatizam a mudança em direção a modelos de IA mais práticos, eficientes e personalizáveis. À medida que a IA se torna mais integrada nas operações empresariais, há uma procura crescente por modelos que atendam a necessidades específicas, oferecendo maior privacidade e segurança. Esta mudança está alinhada com os princípios fundamentais da abordagem mista, que enfatiza a eficiência, a relação custo-eficácia e a adaptabilidade.

Concluindo, o método Blended representa um avanço significativo no desenvolvimento da IA. Ao combinar vários modelos menores, ele oferece uma solução eficiente e econômica que retém e, em alguns casos, aumenta o envolvimento e a retenção do usuário em comparação com modelos maiores e que consomem mais recursos. Esta abordagem não só aborda as limitações práticas das IA em grande escala, mas também abre novas possibilidades para aplicações de IA em vários setores.

Fonte da imagem: Shutterstock

Carimbo de hora:

Mais de Notícias do Blockchain