A LLM não resolve o seu problema. E tudo bem.

O que o modelo realmente faz

Um modelo de linguagem recebe uma sequência de tokens e devolve uma distribuição de probabilidade sobre o próximo token. Só isso. Tudo que parece raciocínio, planejamento ou compreensão é consequência de fazer essa previsão muito bem, em escala, sobre uma quantidade absurda de texto. Não digo isso para diminuir a tecnologia. Digo porque a maioria das decisões ruins que vi com LLM nasce de esquecer esse ponto: tratar um previsor de texto como se fosse um sistema que entende regras e as obedece.

Na prática, isso aparece de três formas. O modelo não é determinístico: a mesma entrada pode gerar saídas diferentes, e mesmo com temperatura zero você depende da versão do modelo que o fornecedor serve hoje. O modelo não sabe o que não sabe: ele completa com a resposta mais plausível, não com "não tenho essa informação". E o modelo custa por token, na entrada e na saída, o que transforma cada chamada em uma linha na fatura.

A conversa que vale ter antes

Quando alguém chega com "vamos usar uma LLM para isso", a primeira coisa que faço é tentar reformular o problema em uma frase sem a palavra "IA". Quase sempre cai em uma destas categorias, e cada uma tem uma ferramenta mais barata e mais previsível que um modelo generativo.

Isso não significa que a LLM nunca entra nos quatro primeiros. Significa que ela entra como componente, geralmente na ponta mais difícil do funil, depois que as ferramentas previsíveis já resolveram o grosso do volume.

Um caso em que a resposta foi "não"

Precisei detectar logomarcas em imagens em escala, com marcas novas entrando no catálogo o tempo todo. A proposta inicial era mandar cada imagem para um modelo multimodal e perguntar "qual marca aparece aqui?". Funciona na demonstração. Em produção, três problemas: custo por imagem em um volume de milhões, latência incompatível com processamento em tempo real, e marca nova significava reescrever o prompt e torcer.

O que acabou em produção, e virou o Stratosphere, foi separar duas perguntas. Onde tem logo é respondido por um detector agnóstico de marca, que acha regiões candidatas sem saber de quem são. Qual logo é é respondido por busca vetorial num banco de referências. Marca nova vira uma pasta de imagens a mais, sem retreino e sem prompt. É a mesma lógica de detector de rosto mais reconhecimento facial.

Quando a LLM é a ferramenta certa

Existem problemas em que nada substitui um modelo de linguagem: interpretar pedido em linguagem natural, resumir, reescrever, gerar código, conversar. Aí a conversa muda de "se" para "como", e as decisões de arquitetura é que fazem a diferença entre protótipo e sistema.

• Recuperação antes da geração. Dar ao modelo os documentos certos no contexto (RAG) resolve a maior parte das alucinações factuais e permite citar a fonte. Fine-tuning ensina formato e estilo, não fatos atualizados.
• Saída estruturada. Se o resultado alimenta outro sistema, peça JSON com esquema validado e trate falha de validação como erro normal, com retentativa ou fallback.
• Avaliação contínua. Sem um conjunto de casos de teste com resposta esperada, você não sabe se a troca de versão do modelo melhorou ou piorou. Esse conjunto é o ativo mais valioso do projeto.
• Orçamento e circuito. Limite de tokens por requisição, cache de respostas iguais, e um caminho degradado quando o fornecedor cai. Uma API externa no meio do fluxo é uma dependência como qualquer outra.

Fine-tuning, RLHF e agentes: o que cada um resolve

Esses três termos aparecem juntos em toda apresentação e resolvem problemas diferentes. Fine-tuning ajusta pesos para uma tarefa ou um estilo; é caro de manter e congela conhecimento numa data. RLHF é a etapa que o fornecedor faz para o modelo preferir respostas que humanos aprovam; você consome o resultado, raramente faz. Agentes são o modelo decidindo qual ferramenta chamar em sequência; multiplicam capacidade e multiplicam também latência, custo e superfície de erro, porque cada passo é uma nova chance de alucinar.

Minha regra para agentes: só quando o número de passos é imprevisível. Se o fluxo é sempre "buscar, resumir, classificar", isso é um pipeline com três chamadas e não precisa de um modelo decidindo a ordem.

Resumo da conversa

• LLM prevê o próximo token. Não é determinística, não sabe o que não sabe e cobra por token.
• Reformule o problema sem a palavra "IA". Classificador, busca vetorial, OCR e código resolvem a maior parte do volume com previsibilidade.
• Quando a LLM é a ferramenta certa, a arquitetura em volta (recuperação, esquema, avaliação, orçamento) é o que separa protótipo de produto.
• Use o modelo como componente. Nunca como a solução inteira.