Um copiloto que responde perguntas sobre o contrato de um cliente, um assistente que consulta a base de produtos ou uma rotina que classifica chamados e os encaminha ao time certo: os três usam LLM, mas exigem coisas diferentes da empresa. Tratar os três como o mesmo projeto é o erro mais comum de quem tenta aplicar IA em operação real.

Três padrões, três exigências diferentes

Copiloto é o assistente embutido em um sistema que o time já usa. Ele sugere, resume ou redige, e a pessoa decide. A exigência principal não é o modelo, é a interface: precisa estar no fluxo de trabalho, com revisão humana explícita e histórico do que foi aceito ou descartado.

RAG (retrieval augmented generation) recupera trechos de documentos antes de gerar a resposta. Serve para conhecimento que muda com frequência e não cabe no treinamento do modelo: políticas internas, catálogo, contratos, manuais. A exigência está na base de conhecimento: atualizada, com dono, versionada e com busca que funcione em português.

Automação com LLM é quando o modelo executa uma etapa do processo sem humano no meio: classificar, extrair campos, resumir um atendimento, decidir o roteamento. A exigência é o contrato de saída, com formato validado por schema, regra de fallback e monitoramento da taxa de erro por lote.

O gargalo está no dado, não no modelo

Uma distribuidora de insumos montou um assistente para o time comercial responder prazo, preço e condição de pagamento. O modelo funcionava, mas as respostas divergiam do ERP: a tabela de preços vivia em uma planilha atualizada por e-mail, e a política de desconto estava em um PDF de dois anos atrás. O assistente aprendeu a repetir a planilha velha com muita confiança.

O conserto não foi trocar de modelo. Foi definir a fonte única de cada informação, indexar com data de vigência, responder sempre com link para o registro de origem e recusar a pergunta quando não houvesse base atualizada. O mesmo padrão vale para clínicas, indústrias e escritórios de serviços: antes de escolher o modelo, é preciso saber onde mora a verdade sobre cada resposta.

Controle, avaliação e custo

Um LLM em produção é uma dependência externa que muda de comportamento sem aviso. O mínimo para operar com segurança:

  • conjunto de avaliação com perguntas reais e respostas esperadas, rodado a cada mudança de prompt ou de versão do modelo;
  • log de prompt, contexto recuperado e resposta, para investigar o erro depois que ele acontece;
  • permissão herdada do sistema de origem: o índice não pode devolver ao usuário um documento que ele não tem direito de abrir;
  • limite de escopo, com recusa explícita quando a base não cobre a pergunta;
  • contrato de saída validado por schema, com retry e fallback determinístico quando o formato quebra;
  • controle de custo por chamada: modelo menor na triagem, cache para perguntas repetidas e limite de contexto enviado.

Na prática

Para quem mantém software em produção, IA aplicada não é um projeto de modelo, é um projeto de integração e operação. Comece por um caso com volume e dor mensuráveis, meça a taxa de acerto antes de ampliar o escopo e mantenha humano no loop até que os números justifiquem retirar a revisão. Versione prompts junto com o código, trate o provedor de LLM como qualquer serviço externo (timeout, indisponibilidade, mudança de versão) e escreva o que o sistema deve fazer quando o modelo não responde ou responde fora do formato. Sem isso, o copiloto vira demonstração caríssima e a automação vira fila de erro silencioso.