Fonte: rawpixel.com
IA conversacional é uma aplicação de LLMs que gerou muito buzz e atenção devido à sua escalabilidade em muitos setores e casos de uso. Embora os sistemas de conversação existam há décadas, os LLMs trouxeram o impulso de qualidade necessário para a sua adoção em larga escala. Neste artigo, usaremos o modelo mental mostrado na Figura 1 para dissecar aplicações de IA conversacional (cf. Construindo produtos de IA com um modelo mental holístico para uma introdução ao modelo mental). Depois de considerar as oportunidades de mercado e o valor comercial dos sistemas de IA conversacional, explicaremos o “maquinário” adicional em termos de dados, ajuste fino do LLM e design conversacional que precisa ser configurado para tornar as conversas não apenas possíveis, mas também úteis. e agradável.
1. Oportunidade, valor e limitações
O design UX tradicional é construído em torno de uma infinidade de elementos UX artificiais, deslizamentos, toques e cliques, exigindo uma curva de aprendizado para cada novo aplicativo. Usando a IA conversacional, podemos acabar com essa ocupação, substituindo-a pela experiência elegante de uma conversa que flui naturalmente, na qual podemos esquecer as transições entre diferentes aplicativos, janelas e dispositivos. Utilizamos a linguagem, nosso protocolo universal e familiar de comunicação, para interagir com diversos assistentes virtuais (VAs) e realizar nossas tarefas.
UIs de conversação não são exatamente a novidade. Sistemas interativos de resposta de voz (IVRs) e chatbots existem desde a década de 1990, e grandes avanços na PNL foram seguidos de perto por ondas de esperança e desenvolvimento para interfaces de voz e chat. Porém, antes da época dos LLMs, a maioria dos sistemas eram implementados no paradigma simbólico, contando com regras, palavras-chave e padrões conversacionais. Eles também estavam limitados a um domínio de “competência” específico e predefinido, e os usuários que se aventurassem fora deles logo chegariam a um beco sem saída. Resumindo, esses sistemas estavam repletos de possíveis pontos de falha e, depois de algumas tentativas frustrantes, muitos usuários nunca mais voltaram a usá-los. A figura a seguir ilustra um exemplo de diálogo. Um usuário que deseja solicitar ingressos para um show específico passa pacientemente por um fluxo de interrogatório detalhado, apenas para descobrir no final que o show está esgotado.
Como uma tecnologia facilitadora, os LLMs podem levar as interfaces conversacionais a novos níveis de qualidade e satisfação do usuário. Os sistemas de conversação podem agora exibir um conhecimento de mundo, competência linguística e capacidade de conversação muito mais amplos. Aproveitando modelos pré-treinados, eles também podem ser desenvolvidos em intervalos de tempo muito mais curtos, uma vez que o tedioso trabalho de compilação de regras, palavras-chave e fluxos de diálogo é agora substituído pelo conhecimento estatístico do LLM. Vejamos duas aplicações importantes onde a IA conversacional pode fornecer valor em escala:
- Atendimento ao cliente e, de forma mais geral, aplicativos usados por um grande número de usuários que frequentemente fazem solicitações semelhantes. Aqui, a empresa que fornece suporte ao cliente tem uma clara vantagem de informação sobre o usuário e pode aproveitar isso para criar uma experiência de usuário mais intuitiva e agradável. Considere o caso de remarcar um voo. Para mim, que sou um passageiro frequente, isso é algo que acontece de 1 a 2 vezes por ano. Nesse meio tempo, tendo a esquecer os detalhes do processo, sem falar da interface do usuário de uma companhia aérea específica. Por outro lado, o suporte ao cliente da companhia aérea tem os pedidos de remarcação no centro das suas operações. Em vez de expor o processo de remarcação através de uma interface gráfica complexa, sua lógica pode ser “escondida” dos clientes que entram em contato com o suporte, podendo estes utilizar a linguagem como canal natural para fazer sua remarcação. É claro que ainda permanecerá uma “longa cauda” de solicitações menos familiares. Por exemplo, imagine uma mudança espontânea de humor que leve um cliente empresarial a adicionar seu querido cachorro como excesso de bagagem em um voo reservado. Essas solicitações mais individuais podem ser repassadas a agentes humanos ou atendidas por meio de um sistema interno de gestão de conhecimento conectado ao assistente virtual.
- Gestão do conhecimento que se baseia em uma grande quantidade de dados. Para muitas empresas modernas, o conhecimento interno que acumulam ao longo de anos de operação, iteração e aprendizagem é um ativo essencial e um diferencial — se for armazenado, gerenciado e acessado de forma eficiente. Baseados em uma riqueza de dados que estão ocultos em ferramentas de colaboração, wikis internos, bases de conhecimento, etc., eles muitas vezes não conseguem transformá-los em conhecimento acionável. À medida que os funcionários saem, novos funcionários são integrados e você nunca finaliza a página de documentação que iniciou há três meses, o conhecimento valioso é vítima da entropia. Torna-se cada vez mais difícil encontrar um caminho através do labirinto interno de dados e obter as informações necessárias em uma situação de negócios específica. Isto leva a enormes perdas de eficiência para os trabalhadores do conhecimento. Para resolver esse problema, podemos aumentar os LLMs com pesquisa semântica em fontes de dados internas. Os LLMs permitem usar perguntas em linguagem natural em vez de consultas formais complexas para fazer perguntas a este banco de dados. Os utilizadores podem assim concentrar-se nas suas necessidades de informação e não na estrutura da base de conhecimento ou na sintaxe de uma linguagem de consulta como o SQL. Sendo baseados em texto, estes sistemas trabalham com dados num espaço semântico rico, fazendo conexões significativas “nos bastidores”.
Além dessas principais áreas de aplicação, existem inúmeras outras aplicações, como telessaúde, assistentes de saúde mental e chatbots educacionais, que podem agilizar a experiência do usuário e agregar valor aos seus usuários de forma mais rápida e eficiente.
Se este conteúdo educacional aprofundado for útil para você, você pode assine nossa lista de discussão sobre pesquisa em IA para ser alertado quando lançarmos novo material.
2. Dados
Os LLMs originalmente não são treinados para se envolver em conversas fluentes ou conversas mais substanciais. Em vez disso, eles aprendem a gerar o seguinte token em cada etapa de inferência, resultando eventualmente em um texto coerente. Este objetivo de baixo nível é diferente do desafio da conversação humana. A conversa é incrivelmente intuitiva para os humanos, mas torna-se incrivelmente complexa e cheia de nuances quando você quer ensinar uma máquina a fazê-lo. Por exemplo, vejamos a noção fundamental de intenções. Quando usamos a linguagem, fazemos isso com um propósito específico, que é a nossa intenção comunicativa – pode ser transmitir informações, socializar ou pedir a alguém para fazer algo. Embora os dois primeiros sejam bastante simples para um LLM (desde que tenha visto as informações necessárias nos dados), o último já é mais desafiador. O LLM não só precisa combinar e estruturar as informações relacionadas de uma forma coerente, mas também definir o tom emocional correto em termos de critérios suaves, como formalidade, criatividade, humor, etc. (cf. secção 5), que está intimamente ligada à tarefa de criar dados de ajuste fino.
Fazer a transição da geração da linguagem clássica para o reconhecimento e resposta a intenções comunicativas específicas é um passo importante para uma melhor usabilidade e aceitação dos sistemas conversacionais. Tal como acontece com todos os esforços de ajuste fino, estes começam com a compilação de um conjunto de dados apropriado.
Os dados de ajuste fino devem chegar o mais próximo possível da (futura) distribuição de dados do mundo real. Primeiro, devem ser dados de conversação (diálogo). Em segundo lugar, se o seu assistente virtual for especializado em um domínio específico, você deve tentar reunir dados de ajuste fino que reflitam o conhecimento necessário do domínio. Terceiro, se houver fluxos e solicitações típicos que serão recorrentes com frequência em sua aplicação, como no caso do suporte ao cliente, tente incorporar exemplos variados destes em seus dados de treinamento. A tabela a seguir mostra uma amostra de dados de ajuste fino de conversação do Conjunto de dados de conversas 3K para ChatBot, que está disponível gratuitamente no Kaggle:
A criação manual de dados de conversação pode se tornar uma tarefa cara – crowdsourcing e uso de LLMs para ajudá-lo a gerar dados são duas maneiras de aumentar a escala. Depois que os dados do diálogo forem coletados, as conversas precisam ser avaliadas e anotadas. Isso permite que você mostre exemplos positivos e negativos ao seu modelo e incentive-o a captar as características das conversas “certas”. A avaliação pode acontecer tanto com notas absolutas quanto com um ranking de diferentes opções entre si. A última abordagem leva a dados de ajuste mais precisos porque os humanos normalmente são melhores em classificar múltiplas opções do que em avaliá-las isoladamente.
Com seus dados implementados, você estará pronto para ajustar seu modelo e enriquecê-lo com recursos adicionais. Na próxima seção, veremos o ajuste fino, a integração de informações adicionais da memória e da pesquisa semântica e a conexão de agentes ao seu sistema conversacional para capacitá-lo a executar tarefas específicas.
3. Montando o sistema conversacional
Um sistema conversacional típico é construído com um agente conversacional que orquestra e coordena os componentes e capacidades do sistema, como o LLM, a memória e fontes de dados externas. O desenvolvimento de sistemas de IA conversacional é uma tarefa altamente experimental e empírica, e seus desenvolvedores estarão em constante vaivém entre otimizar seus dados, melhorar a estratégia de ajuste fino, brincar com componentes e melhorias adicionais e testar os resultados. . Membros não técnicos da equipe, incluindo gerentes de produto e designers de UX, também testarão continuamente o produto. Com base em suas atividades de descoberta de clientes, eles estão em uma ótima posição para antecipar o estilo e o conteúdo de conversação dos futuros usuários e devem contribuir ativamente com esse conhecimento.
3.1 Ensinando habilidades de conversação para seu LLM
Para o ajuste fino, você precisa de seus dados de ajuste fino (cf. seção 2) e de um LLM pré-treinado. Os LLMs já sabem muito sobre a língua e o mundo, e nosso desafio é ensinar-lhes os princípios da conversação. No ajuste fino, os resultados alvo são textos, e o modelo será otimizado para gerar textos tão semelhantes quanto possível aos alvos. Para o ajuste fino supervisionado, primeiro você precisa definir claramente a tarefa de IA conversacional que deseja que o modelo execute, coletar os dados e executar e iterar no processo de ajuste fino.
Com o entusiasmo em torno dos LLMs, surgiram vários métodos de ajuste fino. Para um exemplo bastante tradicional de ajuste fino para conversação, você pode consultar a descrição do modelo LaMDA.[1] O LaMDA foi ajustado em duas etapas. Primeiro, os dados do diálogo são usados para ensinar habilidades de conversação ao modelo (ajuste fino “generativo”). Em seguida, os rótulos produzidos pelos anotadores durante a avaliação dos dados são usados para treinar classificadores que podem avaliar os resultados do modelo ao longo dos atributos desejados, que incluem sensibilidade, especificidade, interesse e segurança (ajuste fino “discriminativo”). Esses classificadores são então usados para orientar o comportamento do modelo em relação a esses atributos.
Além disso, o fundamento factual — a capacidade de fundamentar os seus resultados em informações externas credíveis — é um atributo importante dos LLMs. Para garantir a fundamentação factual e minimizar a alucinação, o LaMDA foi aperfeiçoado com um conjunto de dados que envolve chamadas para um sistema externo de recuperação de informações sempre que é necessário conhecimento externo. Assim, o modelo aprendeu a recuperar primeiro informações factuais sempre que o usuário fazia uma consulta que exigia novos conhecimentos.
Outra técnica popular de ajuste fino é o Aprendizado por Reforço com Feedback Humano (RLHF) [2]. O RLHF “redireciona” o processo de aprendizagem do LLM da tarefa simples, mas artificial, de previsão do próximo token para a aprendizagem das preferências humanas em uma determinada situação comunicativa. Estas preferências humanas são codificadas diretamente nos dados de treinamento. Durante o processo de anotação, os humanos recebem instruções e escrevem a resposta desejada ou classificam uma série de respostas existentes. O comportamento do LLM é então otimizado para refletir a preferência humana.
3.2 Adicionando dados externos e pesquisa semântica
Além de compilar conversas para ajustar o modelo, você pode querer aprimorar seu sistema com dados especializados que podem ser aproveitados durante a conversa. Por exemplo, seu sistema pode precisar de acesso a dados externos, como patentes ou artigos científicos, ou dados internos, como perfis de clientes ou sua documentação técnica. Isso normalmente é feito por meio de pesquisa semântica (também conhecida como geração aumentada de recuperação, ou RAG)[3]. Os dados adicionais são salvos em um banco de dados na forma de incorporações semânticas (cf. Este artigo para uma explicação de incorporações e outras referências). Quando a solicitação do usuário chega, ela é pré-processada e transformada em uma incorporação semântica. A pesquisa semântica identifica então os documentos mais relevantes para a solicitação e os utiliza como contexto para o prompt. Ao integrar dados adicionais com a pesquisa semântica, você pode reduzir a alucinação e fornecer respostas mais úteis e fundamentadas em fatos. Ao atualizar continuamente o banco de dados de incorporação, você também pode manter o conhecimento e as respostas do seu sistema atualizados sem reexecutar constantemente o processo de ajuste fino.
3.3 Memória e consciência de contexto
Imagine ir a uma festa e conhecer Peter, um advogado. Você fica animado e começa a lançar o chatbot jurídico que está planejando construir. Peter parece interessado, se inclina em sua direção, uhm e acena com a cabeça. Em algum momento, você quer a opinião dele sobre se ele gostaria de usar seu aplicativo. Em vez de uma declaração informativa que compensaria sua eloquência, você ouve: “Uhm… o que esse aplicativo estava fazendo de novo?”
O contrato não escrito de comunicação entre humanos pressupõe que estejamos ouvindo nossos interlocutores e construindo nossos próprios atos de fala no contexto que cocriamos durante a interação. Nos ambientes sociais, o surgimento dessa compreensão conjunta caracteriza uma conversa frutífera e enriquecedora. Em ambientes mais mundanos, como reservar uma mesa em um restaurante ou comprar uma passagem de trem, é uma necessidade absoluta para realizar a tarefa e fornecer o valor esperado ao usuário. Isso exige que seu assistente conheça o histórico da conversa atual, mas também de conversas passadas — por exemplo, ele não deve pedir repetidamente o nome e outros dados pessoais de um usuário sempre que ele inicia uma conversa.
Um dos desafios de manter a consciência do contexto é a resolução de correferências, ou seja, compreender quais objetos são referidos pelos pronomes. Os humanos usam intuitivamente muitas dicas contextuais quando interpretam a linguagem - por exemplo, você pode perguntar a uma criança: “Por favor, tire a bola verde da caixa vermelha e traga-a para mim”, e a criança saberá que você está se referindo à bola , não a caixa. Para assistentes virtuais, esta tarefa pode ser bastante desafiadora, conforme ilustrado pelo seguinte diálogo:
Assistente: Obrigado, agora vou reservar seu voo. Você também gostaria de pedir uma refeição para o seu voo?
Usuário: Uhm… posso decidir mais tarde se quero isso?
Assistente: Lamentamos, mas este voo não pode ser alterado ou cancelado posteriormente.
Aqui, o assistente não consegue reconhecer que o pronome it do usuário não se refere ao voo, mas à refeição, sendo necessária outra iteração para corrigir esse mal-entendido.
3.4 Guarda-corpos adicionais
De vez em quando, mesmo o melhor LLM se comportará mal e terá alucinações. Em muitos casos, as alucinações são simples problemas de precisão – e, bem, você precisa aceitar que nenhuma IA é 100% precisa. Em comparação com outros sistemas de IA, a “distância” entre o utilizador e a IA é bastante pequena entre o utilizador e a IA. Um simples problema de precisão pode rapidamente se transformar em algo que é percebido como tóxico, discriminativo ou geralmente prejudicial. Além disso, como os LLMs não têm uma compreensão inerente de privacidade, eles também podem revelar dados confidenciais, como informações de identificação pessoal (PII). Você pode combater esses comportamentos usando proteções adicionais. Ferramentas como Guardrails AI, Rebuff, NeMo Guardrails e Microsoft Guidance permitem que você reduza o risco do seu sistema formulando requisitos adicionais em saídas LLM e bloqueando saídas indesejadas.
Múltiplas arquiteturas são possíveis na IA conversacional. O esquema a seguir mostra um exemplo simples de como o LLM ajustado, os dados externos e a memória podem ser integrados por um agente conversacional, que também é responsável pela construção do prompt e pelas proteções.
4. Experiência do usuário e design conversacional
O charme das interfaces conversacionais reside na sua simplicidade e uniformidade em diferentes aplicações. Se o futuro das interfaces de usuário é que todos os aplicativos tenham mais ou menos a mesma aparência, o trabalho do designer UX está condenado? Definitivamente não - a conversação é uma arte a ser ensinada ao seu LLM para que ele possa conduzir conversas que sejam úteis, naturais e confortáveis para seus usuários. Um bom design conversacional surge quando combinamos nosso conhecimento de psicologia humana, linguística e design UX. A seguir, consideraremos primeiro duas escolhas básicas ao construir um sistema conversacional, ou seja, se você usará voz e/ou chat, bem como o contexto mais amplo do seu sistema. Em seguida, examinaremos as conversas em si e veremos como você pode projetar a personalidade de seu assistente e, ao mesmo tempo, ensiná-lo a se envolver em conversas úteis e cooperativas.
4.1 Voz versus bate-papo
Interfaces de conversação podem ser implementadas usando chat ou voz. Resumindo, a voz é mais rápida, enquanto o chat permite que os usuários permaneçam privados e se beneficiem da funcionalidade enriquecida da interface do usuário. Vamos nos aprofundar um pouco mais nas duas opções, já que esta é uma das primeiras e mais importantes decisões que você enfrentará ao construir um aplicativo de conversação.
Para escolher entre as duas alternativas, comece considerando o ambiente físico em que seu aplicativo será usado. Por exemplo, por que quase todos os sistemas de conversação nos carros, como os oferecidos pela Nuance Communications, são baseados em voz? Porque as mãos do motorista já estão ocupadas e não podem alternar constantemente entre o volante e o teclado. Isso também se aplica a outras atividades, como cozinhar, em que os usuários desejam manter o fluxo de suas atividades enquanto usam seu aplicativo. Carros e cozinhas são em sua maioria ambientes privados, para que os usuários possam experimentar a alegria da interação por voz sem se preocupar com a privacidade ou em incomodar os outros. Por outro lado, se seu aplicativo for usado em um ambiente público, como um escritório, uma biblioteca ou uma estação de trem, a voz pode não ser sua primeira escolha.
Depois de compreender o ambiente físico, considere o lado emocional. A voz pode ser usada intencionalmente para transmitir tom, humor e personalidade – isso agrega valor ao seu contexto? Se você estiver criando seu aplicativo para lazer, a voz pode aumentar o fator diversão, enquanto um assistente para saúde mental pode acomodar mais empatia e permitir a um usuário potencialmente problemático um maior diapasão de expressão. Por outro lado, se seu aplicativo auxiliar os usuários em um ambiente profissional, como negociação ou atendimento ao cliente, uma interação mais anônima e baseada em texto poderá contribuir para decisões mais objetivas e poupar você do incômodo de projetar uma experiência excessivamente emocional.
Na próxima etapa, pense na funcionalidade. A interface baseada em texto permite enriquecer as conversas com outras mídias, como imagens e elementos gráficos da interface do usuário, como botões. Por exemplo, em um assistente de comércio eletrônico, um aplicativo que sugere produtos postando suas fotos e descrições estruturadas será muito mais fácil de usar do que aquele que descreve produtos por voz e potencialmente fornece seus identificadores.
Por fim, vamos falar sobre os desafios adicionais de design e desenvolvimento da construção de uma IU de voz:
- Há uma etapa adicional de reconhecimento de fala que ocorre antes que as entradas do usuário possam ser processadas com LLMs e Processamento de Linguagem Natural (PNL).
- A voz é um meio de comunicação mais pessoal e emocional - portanto, os requisitos para projetar uma persona consistente, apropriada e agradável por trás de seu assistente virtual são maiores, e você precisará levar em consideração fatores adicionais de “design de voz”, como o timbre , estresse, tom e velocidade de fala.
- Os usuários esperam que sua conversa por voz prossiga na mesma velocidade de uma conversa humana. Para oferecer uma interação natural via voz, você precisa de uma latência muito menor do que no chat. Nas conversas humanas, o intervalo típico entre os turnos é de 200 milissegundos — Essa resposta rápida é possível porque começamos a construir nossos turnos enquanto ouvimos a fala do nosso parceiro. Seu assistente de voz precisará corresponder a esse grau de fluência na interação. Por outro lado, para chatbots, você compete com intervalos de segundos, e alguns desenvolvedores até introduzem um atraso adicional para fazer a conversa parecer um bate-papo digitado entre humanos.
- A comunicação por voz é um empreendimento linear e único – se o usuário não entendeu o que você disse, você terá um ciclo de esclarecimento tedioso e sujeito a erros. Portanto, suas curvas precisam ser tão concisas, claras e informativas quanto possível.
Se você optar pela solução de voz, certifique-se de não apenas compreender claramente as vantagens em comparação ao chat, mas também de ter as habilidades e os recursos para enfrentar esses desafios adicionais.
4.2 Onde ficará sua IA conversacional?
Agora, vamos considerar o contexto mais amplo no qual você pode integrar a IA conversacional. Todos nós estamos familiarizados com chatbots em sites de empresas – aqueles widgets à direita da tela que aparecem quando abrimos o site de uma empresa. Pessoalmente, na maioria das vezes, minha reação intuitiva é procurar o botão Fechar. Por que é que? Através de tentativas iniciais de “conversar” com estes bots, aprendi que eles não conseguem satisfazer requisitos de informação mais específicos e, no final, ainda preciso vasculhar o site. A moral da história? Não crie um chatbot porque é legal e moderno; em vez disso, crie-o porque você tem certeza de que ele pode criar valor adicional para seus usuários.
Além do polêmico widget no site de uma empresa, existem vários contextos interessantes para integrar esses chatbots mais gerais que se tornaram possíveis com LLMs:
- Copilotos: esses assistentes orientam e aconselham você em processos e tarefas específicas, como GitHub CoPilot para programação. Normalmente, os copilotos estão “ligados” a uma aplicação específica (ou a um pequeno conjunto de aplicações relacionadas).
- Humanos sintéticos (também humanos digitais): Essas criaturas “emulam” humanos reais no mundo digital. Eles parecem, agem e falam como humanos e, portanto, também precisam de ricas habilidades de conversação. Humanos sintéticos são frequentemente usados em aplicações imersivas, como jogos e realidade aumentada e virtual.
- Gêmeos digitais: Os gêmeos digitais são “cópias” digitais de processos e objetos do mundo real, como fábricas, carros ou motores. Eles são usados para simular, analisar e otimizar o design e o comportamento do objeto real. As interações de linguagem natural com gêmeos digitais permitem um acesso mais fácil e versátil aos dados e modelos.
- Bases de dados: Hoje em dia, há dados disponíveis sobre qualquer assunto, sejam recomendações de investimento, trechos de código ou materiais educacionais. O que muitas vezes é difícil é encontrar os dados muito específicos que os usuários precisam em uma situação específica. As interfaces gráficas para bancos de dados são muito grosseiras ou cobertas por infinitos widgets de pesquisa e filtro. Linguagens de consulta versáteis, como SQL e GraphQL, só são acessíveis a usuários com as habilidades correspondentes. As soluções conversacionais permitem aos usuários consultar os dados em linguagem natural, enquanto o LLM que processa as solicitações os converte automaticamente na linguagem de consulta correspondente (cf. Este artigo para uma explicação do Text2SQL).
4.3 Imprimindo uma personalidade em seu assistente
Como seres humanos, estamos programados para antropomorfizar, ou seja, para infligir características humanas adicionais quando vemos algo que se assemelha vagamente a um ser humano. A linguagem é uma das habilidades mais únicas e fascinantes da humanidade, e os produtos de conversação serão automaticamente associados aos humanos. As pessoas vão imaginar uma pessoa por trás de sua tela ou dispositivo - e é uma boa prática não deixar essa pessoa específica ao acaso da imaginação de seus usuários, mas sim emprestar a ela uma personalidade consistente e alinhada com seu produto e marca. Esse processo é chamado de “design de persona”.
A primeira etapa do design de persona é compreender os traços de caráter que você gostaria que sua persona exibisse. Idealmente, isso já é feito no nível dos dados de treinamento — por exemplo, ao usar RLHF, você pode pedir aos seus anotadores para classificar os dados de acordo com características como utilidade, educação, diversão, etc., a fim de influenciar o modelo para as características desejadas. Essas características podem ser combinadas com os atributos de sua marca para criar uma imagem consistente que promova continuamente sua marca por meio da experiência do produto.
Além das características gerais, você também deve pensar em como seu assistente virtual lidará com situações específicas além do “caminho feliz”. Por exemplo, como responderá às solicitações dos usuários que estão além do seu escopo, responderá a perguntas sobre si mesmo e lidará com linguagem abusiva ou vulgar?
É importante desenvolver diretrizes internas explícitas sobre sua persona que possam ser usadas por anotadores de dados e designers de conversação. Isso permitirá que você projete sua persona de maneira proposital e a mantenha consistente em toda a equipe e ao longo do tempo, à medida que seu aplicativo passa por diversas iterações e refinamentos.
4.4 Tornar as conversas úteis com o “princípio da cooperação”
Você já teve a impressão de estar conversando com uma parede de tijolos quando na verdade estava falando com um humano? Às vezes, descobrimos que nossos interlocutores simplesmente não estão interessados em conduzir a conversa ao sucesso. Felizmente, na maioria dos casos, as coisas são mais tranquilas e os humanos seguirão intuitivamente o “princípio da cooperação” que foi introduzido pelo filósofo da linguagem Paul Grice. De acordo com este princípio, os humanos que se comunicam com sucesso seguem quatro máximas, nomeadamente quantidade, qualidade, relevância e maneira.
Máxima de quantidade
A máxima da quantidade pede ao orador que seja informativo e faça a sua contribuição tão informativa quanto necessário. Do lado do assistente virtual, isso também significa avançar ativamente a conversa. Por exemplo, considere este trecho de um aplicativo de moda de comércio eletrônico:
Assistente: Que tipo de peças de roupa você está procurando?
Usuário: Estou procurando um vestido laranja.
Assistente: Não: Desculpe, não temos vestidos laranja no momento.
Do: Desculpe, não temos vestidos na cor laranja, mas temos esse vestido amarelo lindo e muito confortável: …
O usuário espera sair do seu aplicativo com um item adequado. Interromper a conversa porque você não tem itens que se encaixem na descrição exata elimina a possibilidade de sucesso. No entanto, se seu aplicativo fizer sugestões sobre itens alternativos, ele parecerá mais útil e deixará aberta a opção de uma interação bem-sucedida.
Especialmente em interações de voz, é importante encontrar o equilíbrio certo entre fornecer todas as informações que o usuário possa precisar para ter sucesso e não sobrecarregá-lo com informações desnecessárias que possam atrapalhar a interação.
Máxima de qualidade
A máxima da qualidade pede que os oradores sejam verdadeiros e não digam coisas que acreditam serem falsas ou para as quais não tenham provas adequadas. Há muita subjetividade e crença pessoal envolvidas aqui — portanto, essa máxima não pode ser projetada diretamente nos LLMs. Como vimos, os LLMs tendem a ter alucinações, e este risco é especialmente elevado quando a conversa se desvia para territórios menos familiares. Proteções adicionais podem ser usadas para evitar declarações enganosas e trazer a conversa de volta aos trilhos.
Máxima de relevância
A máxima da relevância pede que sejamos – bem, relevantes. Como pré-condição, o assistente virtual deve compreender a verdadeira intenção do usuário. Aqui está um exemplo de assistente de companhia aérea que viola esta regra:
Usuário: Preciso de um vôo de Berlim para Zurique amanhã de manhã.
Assistente: OK, encontrei os seguintes voos de Berlim para Zurique para amanhã de manhã. O voo BZ36294 sai de Berlim às 6.30h8 e chega a Zurique às 96294h. O voo BZ8 sai de Berlim às 9.30h e chega às 96294h8. O voo BZ9.30 sai de Berlim às 95614h e chega a Zurique às 11h12.30. O voo BZ11.45 sai de Berlim às 3h e chega a Zurique às XNUMXhXNUMX. Existe também a possibilidade de um voo de ligação, caso em que sairia de Berlim às XNUMXhXNUMX e chegaria a Zurique às XNUMXh.
Usuário: Desculpe... você poderia repetir isso de novo?
O assistente sobrecarrega o usuário com informações detalhadas que podem não ser relevantes. Ao dividir isso e orientar o usuário a limitar seu espaço de pesquisa, o diálogo fica muito mais fácil de digerir:
Usuário: Preciso de um vôo de Berlim para Zurique amanhã de manhã.
Assistente: Ok, encontrei voos saindo às 6.30h8, 11h e XNUMXh. A que horas você gostaria de sair?
Usuário: Preciso estar em Zurique antes das 9h.
Assistente: OK, então você pode pegar o voo BZ36294. Sai às 6.30h8 e chega às XNUMXh. Devo comprar a passagem para você?
Usuário: Sim obrigado.
Máxima de maneira
Por fim, a máxima da maneira afirma que nossos atos de fala devem ser claros, concisos e ordenados, evitando ambiguidade e obscuridade de expressão. Seu assistente virtual deve evitar jargões técnicos ou internos e privilegiar formulações simples e universalmente compreensíveis.
Embora os princípios de Grice sejam válidos para todas as conversas, independentemente de um domínio específico, os LLMs não treinados especificamente para conversação muitas vezes não conseguem cumpri-los. Assim, ao compilar seus dados de treinamento, é importante ter amostras de diálogo suficientes que permitam que seu modelo aprenda esses princípios.
O domínio do design conversacional está se desenvolvendo rapidamente. Esteja você já construindo produtos de IA ou pensando em sua carreira em IA, encorajo você a se aprofundar neste tópico (cf. as excelentes introduções em [5] e [6]). À medida que a IA se transforma numa mercadoria, um bom design, juntamente com uma estratégia de dados defensável, tornar-se-ão dois diferenciais importantes para os produtos de IA.
Resumo
Vamos resumir as principais conclusões do artigo. Além disso, a figura 5 oferece uma “folha de dicas” com os principais pontos que você pode baixar como referência.
- LLMs melhoram a IA conversacional: os Large Language Models (LLMs) melhoraram significativamente a qualidade e a escalabilidade dos aplicativos de IA conversacional em vários setores e casos de uso.
- A IA conversacional pode agregar muito valor a aplicações com muitas solicitações de usuários semelhantes (por exemplo, atendimento ao cliente) ou que precisam acessar uma grande quantidade de dados não estruturados (por exemplo, gerenciamento de conhecimento).
- Dados: O ajuste fino de LLMs para tarefas de conversação requer dados de conversação de alta qualidade que espelhem de perto as interações do mundo real. Os dados gerados por crowdsourcing e LLM podem ser recursos valiosos para dimensionar a coleta de dados.
- Montando o sistema: O desenvolvimento de sistemas de IA conversacionais é um processo iterativo e experimental que envolve otimização constante de dados, estratégias de ajuste fino e integração de componentes.
- Ensinar habilidades de conversação para LLMs: O ajuste fino de LLMs envolve treiná-los para reconhecer e responder a intenções e situações comunicativas específicas.
- Adicionando dados externos com pesquisa semântica: A integração de fontes de dados externas e internas usando pesquisa semântica aprimora as respostas da IA, fornecendo informações mais relevantes contextualmente.
- Memória e consciência do contexto: Sistemas conversacionais eficazes devem manter a consciência do contexto, incluindo o rastreamento do histórico da conversa atual e das interações passadas, para fornecer respostas significativas e coerentes.
- Estabelecendo barreiras de proteção: para garantir um comportamento responsável, os sistemas de IA conversacional devem empregar barreiras de proteção para evitar imprecisões, alucinações e violações de privacidade.
- Design de persona: Projetar uma persona consistente para seu assistente de conversação é essencial para criar uma experiência de usuário coesa e de marca. As características da personalidade devem estar alinhadas com os atributos do seu produto e marca.
- Voz x bate-papo: a escolha entre interfaces de voz e bate-papo depende de fatores como ambiente físico, contexto emocional, funcionalidade e desafios de design. Considere esses fatores ao decidir sobre a interface da sua IA conversacional.
- Integração em vários contextos: A IA conversacional pode ser integrada em diferentes contextos, incluindo copilotos, humanos sintéticos, gémeos digitais e bases de dados, cada um com casos de utilização e requisitos específicos.
- Observar o Princípio da Cooperação: Seguir os princípios de quantidade, qualidade, relevância e maneira nas conversas pode tornar as interações com IA conversacional mais úteis e fáceis de usar.
Referências
[1] Heng-Tze Chen et al. 2022. LaMDA: em direção a modelos de diálogo seguros, fundamentados e de alta qualidade para tudo.
[2] OpenAI. 2022. Bate-papoGPT: Otimizando Modelos de Linguagem para Diálogo. Acesso em 13 de janeiro de 2022.
[3]Patrick Lewis e outros. 2020. Geração aumentada de recuperação para tarefas de PNL intensivas em conhecimento.
[4] Paulo Grice. 1989. Estudos no Caminho das Palavras.
[5] Cathy Pérola. 2016. Projetando interfaces de usuário de voz.
[6]Michael Cohen et al. 2004. Design de interface de usuário de voz.
Nota: Todas as imagens são do autor, salvo indicação em contrário.
Este artigo foi originalmente publicado em Rumo à ciência de dados e republicado no TOPBOTS com permissão do autor.
Gostou deste artigo? Inscreva-se para mais atualizações de pesquisa de IA.
Avisaremos quando lançarmos mais artigos de resumo como este.
Relacionado
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://www.topbots.com/redefining-conversational-ai-with-large-language-models/
- :tem
- :é
- :não
- :onde
- $UP
- 1
- 10
- 11
- 110
- 12
- 125
- 13
- 14
- 17
- 200
- 2016
- 2020
- 2022
- 30
- 32
- 35%
- 41
- 65
- 7
- 70
- 8
- 9
- a
- habilidades
- habilidade
- Sobre
- absoluto
- ACEITAR
- aceitação
- Acesso
- acessadas
- acessível
- acomodar
- realizar
- Segundo
- Conta
- Acumular
- precisão
- preciso
- em
- Aja
- ativamente
- atividades
- atividade
- atos
- adicionar
- acrescentando
- Adicional
- Informação adicional
- Adicionalmente
- endereço
- Adoção
- avanços
- Vantagem
- vantagens
- aconselhar
- Depois de
- novamente
- contra
- Agente
- agentes
- atrás
- AI
- ai pesquisa
- Sistemas de IA
- companhia aérea
- AL
- alinhar
- alinhado
- Todos os Produtos
- permitir
- permite
- quase
- juntamente
- já
- tb
- alternativa
- alternativas
- am
- Ambiguidade
- entre
- an
- analisar
- e
- Anônimo
- Outro
- antecipar
- qualquer
- app
- aparecer
- Aplicação
- aplicações
- aplica
- abordagem
- apropriado
- Aplicativos
- SOMOS
- áreas
- por aí
- Chega
- Arte
- artigo
- artigos
- artificial
- AS
- perguntar
- pergunta
- avaliar
- avaliado
- avaliação
- ativo
- auxiliar
- Assistente
- assistentes
- associado
- At
- Tentativas
- por WhatsApp.
- atributos
- aumentar
- aumentado
- autor
- automaticamente
- disponível
- evitar
- evitando
- consciência
- longe
- em caminho duplo
- de volta à pista
- Equilíbrio
- bola
- base
- baseado
- basic
- BE
- Porque
- tornam-se
- torna-se
- sido
- antes
- atrás
- ser
- crença
- Acreditar
- Amado
- beneficiar
- Berlim
- MELHOR
- melhores práticas
- Melhor
- entre
- Pós
- viés
- Pouco
- bloqueio
- livro
- ambos
- bots
- Caixa
- interesse?
- de marca
- marca
- violações
- Quebra
- trazer
- mais amplo
- Trazido
- construir
- Construa um chatbot
- Prédio
- construído
- negócio
- ocupado
- mas a
- botão
- botões
- comprar
- Comprar
- by
- chamado
- chamadas
- veio
- CAN
- cancelado
- não podes
- capacidades
- Oportunidades
- carros
- casas
- casos
- Cathy
- Centralização de
- desafiar
- desafios
- desafiante
- chance
- mudado
- Canal
- personagem
- características
- caracteriza
- chatbot
- chatbots
- ChatGPT
- chen
- criança
- escolha
- escolhas
- escolha
- remover filtragem
- claramente
- Fechar
- de perto
- Vestuário
- Na nuvem
- código
- cohen
- COERENTE
- coeso
- colaboração
- coleção
- combinar
- como
- vem
- confortável
- mercadoria
- comunicar
- Comunicação
- Comunicações
- Empresas
- Empresa
- comparado
- competir
- integrações
- componente
- componentes
- concerto
- conciso
- Conduzir
- conectado
- Conexão de
- Coneções
- Considerar
- considerando
- consistente
- constante
- constantemente
- construção
- formação
- Contacto
- conteúdo
- contexto
- Contextos
- contextual
- continuamente
- contract
- contraste
- contribuir
- contribuindo
- contribuição
- controverso
- Conversa
- conversação
- IA conversacional
- Interfaces de conversação
- conversas
- cozinha
- Legal
- cooperação
- cooperativo
- núcleo
- Correspondente
- poderia
- Casal
- curso
- coberto
- crio
- Criar
- criatividade
- criaturas
- credível
- critérios
- Crowdsourcing
- Atual
- Atualmente
- curva
- cliente
- Atendimento ao Cliente
- Suporte ao cliente
- Clientes
- dados,
- estratégia de dados
- banco de dados
- bases de dados
- morto
- acordo
- décadas
- decidir
- Decidindo
- decisões
- mais profunda
- definir
- definitivamente
- Grau
- atraso
- depende
- descrição
- Design
- Designer
- desenhadores
- concepção
- desejado
- detalhado
- detalhes
- desenvolver
- desenvolvido
- desenvolvedores
- em desenvolvimento
- Desenvolvimento
- dispositivo
- Dispositivos/Instrumentos
- diálogo
- Diálogo
- diferente
- diferenciador
- difícil
- DIG
- Digerir
- digital
- Gêmeos digitais
- mundo digital
- diretamente
- descoberta
- Ecrã
- distribuição
- mergulho
- do
- documentação
- INSTITUCIONAIS
- parece
- Cachorro
- fazer
- domínio
- feito
- não
- Condenado
- download
- motorista
- dois
- durante
- e
- e-commerce,
- E & T
- cada
- mais fácil
- educacional
- Eficaz
- eficiência
- eficiente
- ou
- elementos
- embutindo
- emergiu
- emergência
- emerge
- Empatia
- colaboradores
- autorizar
- permitindo
- encorajar
- final
- esforços
- Interminável
- engajar
- Motores
- aumentar
- Melhorias
- Melhora
- agradável
- suficiente
- enriquecer
- enriquecido
- enriquecedor
- garantir
- Empreendimento
- especialmente
- essencial
- etc.
- avaliação
- Mesmo
- eventualmente
- SEMPRE
- evidência
- exatamente
- exemplo
- exemplos
- excelente
- Exceto
- excesso
- animado
- emocionante
- executar
- existente
- esperar
- esperado
- caro
- vasta experiência
- experimental
- Explicação
- explicação
- expressão
- externo
- Rosto
- fator
- fábricas
- fatores
- Fatual
- FALHA
- falha
- Falha
- Quedas
- falso
- familiar
- fascinante
- Moda
- mais rápido
- retornos
- sentir
- Figura
- filtro
- finalizar
- Encontre
- Primeiro nome
- caber
- Fixar
- vôo
- Voos
- fluxo
- Fluindo
- Fluxos
- Foco
- seguir
- seguido
- seguinte
- Escolha
- formulário
- formal
- formulação
- Felizmente
- para a frente
- encontrado
- quatro
- freqüente
- freqüentemente
- da
- frente
- frustrante
- Cumprir
- Diversão
- funcionalidade
- fundamental
- mais distante
- futuro
- jogos
- lacuna
- reunir
- Geral
- geralmente
- gerar
- geração
- ter
- GitHub
- dado
- Go
- vai
- vai
- Bom estado, com sinais de uso
- Graphql
- ótimo
- Verde
- Solo
- orientações
- guia
- orientações
- tinha
- mãos
- acontecer
- acontece
- Queijos duros
- prejudicial
- Ter
- he
- Saúde
- ouvir
- ajudar
- útil
- sua experiência
- SUA PARTICIPAÇÃO FAZ A DIFERENÇA
- oculto
- Alta
- alta qualidade
- superior
- altamente
- sua
- história
- Acertar
- holística
- esperança
- espera
- HOT
- Como funciona o dobrador de carta de canal
- Contudo
- HTML
- http
- HTTPS
- enorme
- humano
- Humanos
- Humor
- Hype
- i
- idealmente
- Identificadores
- identifica
- if
- ilustra
- imagem
- imagens
- imaginações
- fotografia
- imersiva
- implementado
- importante
- melhorado
- melhorar
- in
- em profundidade
- incluir
- Incluindo
- incorporar
- Crescimento
- incrivelmente
- independentemente
- Individual
- indústrias
- infligir
- INFORMAÇÕES
- informativo
- inerente
- do estado inicial,
- iniciar
- inputs
- em vez disso
- integrar
- integrado
- Integração
- integração
- intenção
- intencionalmente
- interagir
- interação
- interações
- interativo
- Sistemas interativos de resposta de voz
- interessado
- Interface
- interfaces de
- interno
- entrelaçado
- para dentro
- introduzir
- introduzido
- Introdução
- introduções
- intuitivo
- investimento
- recomendações de investimento
- envolvido
- envolve
- envolvendo
- isolamento
- emitem
- questões
- IT
- Unid
- iteração
- iterações
- ESTÁ
- se
- URAs
- janeiro
- jargão
- Trabalho
- articulação
- jpg
- apenas por
- Guarda
- Chave
- palavras-chave
- Mata
- Tipo
- Saber
- Conhecimento
- Gestão do Conhecimento
- conhecido
- Rótulos
- labirinto
- Falta
- língua
- Idiomas
- grande
- em grande escala
- Maior
- Latência
- mais tarde
- advogado
- principal
- Leads
- APRENDER
- aprendido
- aprendizagem
- Deixar
- partida
- Legado
- Legal
- EMPRESTAR
- menos
- deixar
- Nível
- níveis
- Alavancagem
- alavancado
- aproveitando
- Lewis
- Biblioteca
- encontra-se
- como
- LIMITE
- Limitado
- linguística
- Escuta
- viver
- lógica
- longo
- olhar
- procurando
- OLHARES
- perdas
- lote
- grande quantidade
- máquina
- moldadas
- correspondência
- a Principal
- a manter
- manutenção
- principal
- fazer
- FAZ
- Fazendo
- gerenciados
- de grupos
- Sistema de gestão
- Gerentes
- maneira
- muitos
- mercado
- oportunidades de mercado
- Match
- correspondido
- material
- materiais
- max-width
- máximo
- me
- significar
- significativo
- significa
- Mídia
- média
- reunião
- Membros
- Memória
- mental
- A saúde mental
- métodos
- Michael
- Microsoft
- poder
- milissegundos
- minado
- enganosa
- mal-entendido
- modelo
- modelos
- EQUIPAMENTOS
- momento
- mês
- humor
- moral
- mais
- mais eficiente
- manhã
- a maioria
- na maioria das vezes
- em movimento
- muito
- múltiplo
- multidão
- devo
- my
- eu mesmo
- nome
- nomeadamente
- natural
- Linguagem Natural
- Processamento de linguagem natural
- necessário
- necessidade
- você merece...
- necessário
- Cria
- negativo
- nunca
- Novo
- novo aplicativo
- Próximo
- PNL
- não
- não técnico
- nenhum
- normalmente
- notado
- Noção
- agora
- Nuança
- número
- numeroso
- Casca de noz
- objeto
- objetivo
- objetos
- of
- WOW!
- oferecer
- oferecido
- Oferece
- Office
- frequentemente
- on
- uma vez
- ONE
- só
- aberto
- OpenAI
- operando
- Operações
- Opinião
- oportunidades
- Oportunidade
- otimização
- Otimize
- otimizado
- otimizando
- Opção
- Opções
- or
- Laranja
- ordem
- originalmente
- Outros
- Outros
- de outra forma
- A Nossa
- Fora
- outputs
- lado de fora
- Acima de
- excessivamente
- esmagador
- próprio
- página
- papéis
- paradigma
- Parceiros
- festa
- passou
- passado
- Patentes
- caminho
- pacientemente
- patrick
- padrões
- Paul
- Pessoas
- para
- percebido
- realizar
- permissão
- pessoa
- pessoal
- Personalidade
- Pessoalmente
- Peter
- físico
- escolher
- FOTOS
- Pii
- arremesso
- Lugar
- Avião
- planejamento
- platão
- Inteligência de Dados Platão
- PlatãoData
- jogar
- ponto
- pontos
- pobre
- estouro
- Popular
- posição
- positivo
- possibilidade
- possível
- potencial
- potencialmente
- prática
- práticas
- predição
- preferências
- apresentado
- evitar
- princípio
- princípios
- política de privacidade
- privado
- prosseguir
- processo
- processado
- processos
- em processamento
- Produzido
- Produto
- Produtos
- profissional
- Perfis
- Programação
- projetado
- proeminente
- promove
- protocolo
- fornecer
- fornece
- fornecendo
- Psicologia
- público
- publicado
- propósito
- Empurrar
- empurra
- qualidade
- quantidade
- consultas
- Frequentes
- rapidamente
- classificar
- Posição
- em vez
- reação
- pronto
- reais
- mundo real
- Realidade
- reconhecimento
- reconhecer
- reconhecendo
- recomendações
- recorrente
- Vermelho
- Redefinindo
- reduzir
- referir
- referência
- referências
- a que se refere
- refere-se
- refletir
- reflete
- aprendizagem de reforço
- relacionado
- liberar
- relevância
- relevante
- contando
- permanecem
- repetir
- substituído
- resposta
- solicitar
- pedidos
- requeridos
- Requisitos
- exige
- pesquisa
- se assemelha
- Resolução
- Recursos
- Responder
- responder
- resposta
- respostas
- responsável
- restaurante
- resultando
- Resultados
- revelar
- Rico
- certo
- Risco
- Regra
- regras
- Execute
- seguro
- Segurança
- Dito
- mesmo
- satisfação
- salvo
- dizer
- AMPLIAR
- Escala
- dimensionamento
- científico
- escopo
- pontuações
- Peneira
- Pesquisar
- Segundo
- segundo
- Seção
- Vejo
- visto
- sensível
- Série
- serviço
- conjunto
- contexto
- Configurações
- vários
- rede de apoio social
- mostrar
- mostrando
- Shows
- lado
- assinar
- de forma considerável
- semelhante
- simples
- simplicidade
- desde
- Sentado
- situação
- situações
- Habilidades
- pequeno
- mais suave
- fragmento
- So
- Redes Sociais
- socializar
- Suave
- vendido
- solução
- Soluções
- alguns
- Alguém
- algo
- às vezes
- Em breve
- Fontes
- Espaço
- vãos
- falar
- Palestrantes
- caixas de som
- falando
- especializado
- específico
- especificamente
- especificidade
- discurso
- Reconhecimento de Voz
- velocidade
- SQL
- começo
- começado
- começa
- Declaração
- declarações
- Unidos
- estação
- estatístico
- ficar
- dirigir
- direcção
- volante
- Passo
- Passos
- Ainda
- paragem
- armazenadas
- História
- franco
- estratégias
- Estratégia
- simplificar
- estresse
- estrutura
- estruturada
- caso
- estilo
- substancial
- sucesso
- bem sucedido
- entraram com sucesso
- tal
- Sugere
- adequado
- suíte
- resumir
- RESUMO
- ajuda
- certo
- Balanço
- Interruptor
- simbólico
- sintaxe
- sintético
- .
- sistemas
- mesa
- Tire
- Takeaways
- Converse
- falando
- Torneiras
- Target
- tem como alvo
- Tarefa
- tarefas
- ensinado
- Ensino
- Profissionais
- Membros do time
- Dados Técnicos:
- técnica
- Tecnologia
- tele-saúde
- condições
- territórios
- ensaio
- texto
- do que
- obrigado
- que
- A
- O Futuro
- as informações
- o mundo
- deles
- Eles
- si mesmos
- então
- Lá.
- Este
- deles
- coisas
- think
- Pensando
- Terceiro
- isto
- aqueles
- três
- Através da
- Assim
- bilhete
- bilhetes
- tempo
- vezes
- para
- juntos
- token
- amanhã
- TOM
- também
- ferramentas
- TOPBOTS
- tópico
- para
- para
- pista
- Rastreamento
- Trading
- tradicional
- Trem
- treinado
- Training
- Transformar
- transformado
- transição
- transições
- transmite
- desencadeado
- verdadeiro
- tentar
- VIRAR
- Passando
- voltas
- Twins
- dois
- típico
- ui
- sofre
- compreender
- compreensível
- compreensão
- único
- Universal
- Universalmente
- que vai mais à frente
- Atualizações
- atualização
- us
- usabilidade
- usar
- usava
- Utilizador
- Experiência do Usuário
- Interface de Usuário
- Design da interface do usuário
- user-friendly
- usuários
- usos
- utilização
- ux
- Design UX
- designer ux
- designers de ux
- válido
- Valioso
- valor
- variedade
- vário
- versátil
- Contra
- muito
- via
- Vítima
- Virtual
- assistente virtual
- A realidade virtual
- voz
- Assistente de voz
- vs
- vulgar
- W3
- parede
- queremos
- quer
- foi
- ondas
- Caminho..
- maneiras
- we
- Riqueza
- Site
- sites
- BEM
- foram
- O Quê
- O que é a
- Roda
- quando
- sempre que
- se
- qual
- enquanto
- QUEM
- porque
- precisarão
- Windows
- de
- sem
- palavras
- Atividades:
- trabalhadores
- mundo
- preocupante
- seria
- escrever
- ano
- anos
- amarelo
- Você
- jovem
- investimentos
- zefirnet
- Zurique