Uma resposta sem sentido, que não tem conexão com a pergunta que foi feita. Os robôs de inteligência artificial (IA) generativa, como o ChatGPT, cometem erros que muitas vezes vão além de simplesmente fornecer uma informação falsa ou sem ser de fonte confiável. É o que os especialistas no setor chamam de “alucinação”.
E, agora, pela primeira vez, pesquisadores mediram a frequência com que isso ocorre. A startup Vectara, fundada por ex-funcionários do Google, esquadrinhou ferramentas de IA e constatou que as alucinações ocorrem com uma frequência que varia entre 3% e 27%.
Simon Hughes, pesquisador da Vectara que liderou o projeto, explicou que sua equipe pediu para esses sistemas realizarem uma tarefa simples e direta, facilmente verificável: resumir artigos de notícias. Mesmo assim, os chatbots persistentemente inventaram informações.
“O fato de o sistema ainda poder apresentar erros é um problema fundamental”, disse Amr Awadallah, CEO da Vectara.
As tecnologias da OpenAI, laboratório que criou o ChatGPT, tiveram a taxa mais baixa de alucinação, em torno de 3%. Os sistemas da Meta, proprietária do Facebook e Instagram, ficaram em torno de 5%. O sistema Claude 2, oferecido pela Anthropic, uma concorrente da OpenAI também sediada em São Francisco, ultrapassou os 8%. Um sistema do Google, o Palm chat, teve a taxa mais alta: 27%.
Isso pode não ser um problema para quem usa as interfaces de inteligência artificial como mera diversão. Entretanto, pode gerar uma grande dor de cabeça em usos como informações médicas, dados comerciais sensíveis ou documentos judiciais.
O executivo de tecnologia Helbert Costa, autor do livro “ChatGPT Explicado”, aponta que as IAs generativas não foram desenhadas para serem factuais. Pelo contrário, elas foram estimuladas a ter uma pitada de criatividade para tornar a interação mais real e humanizada. Seu grau de alucinação é grande porque ela é programada para dar respostas independentemente do nível de certeza e, para isso, usa analogias:
“Uma IA que detecta carros, por exemplo… quando exposta a algum tipo de imagem, identifica a mais próxima. Se tiver 27% de semelhança com uma caminhonete, vai dizer que é uma caminhonete”, explica. “Da mesma forma funciona para os textos. A IA pega as palavras que estão mais conectadas ao contexto e usa, ainda que a probabilidade seja de 2%.”
Segundo André Aizim Kelmanson, sócio da Grana Capital – fintech que lançou há pouco o aplicativo Grana IA, com foco em informações do mercado –, para evitar a alucinação, é necessário um trabalho constante para fazer o modelo entender que ele não precisa ser criativo quando não encontrar a resposta requisitada.
A chance de erro é reduzida em inteligências artificiais treinadas para assuntos específicos, pelo fato de estas serem alimentadas com bancos de dados mais restritos e estarem ligadas a um determinado contexto, como é o caso do Grana IA, que usa o modelo do GPT, da OpenIA, e informações públicas relacionadas a finanças, como fatos relevantes, balanços de empresas e carteiras recomendadas por casas de análises. Ainda assim, diz Kelmanson, é preciso “educar” a máquina.
