APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
RAG recupera informação relevante e acrescenta-a ao contexto antes da geração. É útil para runbooks que mudam com frequência, sem pressupor novo treino a cada atualização. Divide documentos em partes que preservem sentido, mantém versões e confirma a qualidade da recuperação. Uma citação facilita inspeção, mas não prova que o texto citado suporta a conclusão. O controlo de acesso deve impedir recuperação indevida; detalhes de ACL variam com o tipo de Knowledge Base e conector. Fine-tuning altera parâmetros com exemplos e pode melhorar comportamento numa tarefa. Não substitui automaticamente acesso a factos atuais. Distillation usa um modelo professor para ajudar a treinar um estudante menor; a poupança pretendida exige voltar a medir qualidade. Considera custos de dados, treino, avaliação, operação e manutenção ao comparar alternativas.
Aplicação guiada
Num caso fictício, o assistente recomenda o procedimento antigo apesar de existir um runbook novo. Inspeciona os documentos recuperados, a versão indexada e o pedido antes de culpar o modelo. Um prompt claro define tarefa, contexto, formato e limites; exemplos few-shot mostram o padrão desejado. Testa alterações com um conjunto representativo e guarda versões para comparar e reverter. Reduzir temperatura pode reduzir variação, mas não garante verdade nem saídas idênticas em todos os sistemas. Avalia o modelo e a aplicação: recuperação relevante, resposta sustentada, conclusão da tarefa, latência e custo por interação. ROUGE e BLEU medem aspetos de sobreposição textual; BERTScore compara representações semânticas. Nenhum destes indicadores prova sozinho segurança ou utilidade. Avaliação humana e LLM-as-a-judge também precisam de critérios, exemplos e verificação de consistência. Em workflows com ferramentas, inclui falhas, recusas e ações parcialmente concluídas.
Uma resposta com ligação ao runbook antigo continua a precisar de correção.
Armadilhas comuns
RAG como garantia de verdade; fine-tuning como atualização contínua; benchmark genérico como aceitação; prompt alterado sem versão.
Tópicos relacionados: IA e ML: problema, dados e métricas · IA generativa, contexto e agentes · IA responsável e explicabilidade
Avalia a cadeia desde os dados recuperados até ao resultado da tarefa.
Referência: Amazon Bedrock Knowledge Bases · AIF-C01