APRENDER. PRATICAR. EVOLUIR.Conceito e mecanismo
Um modelo generativo prevê saídas a partir do contexto, sem garantir que cada afirmação corresponda a um procedimento atual. RAG recupera material para sustentar a resposta; fine-tuning adapta padrões de comportamento a exemplos. Para documentos que mudam semanalmente, a recuperação facilita atualização e evidência. A qualidade depende da origem, segmentação, pesquisa, autorização e instruções, não apenas do modelo. O orçamento de contexto deve reservar espaço para a saída e respeitar os limites concretos da versão escolhida. Nos contratos Azure OpenAI clássicos que esperam um nome de deployment, o identificador do catálogo não é um substituto automático. SDK, endpoint e versão da API devem pertencer ao mesmo contrato.
Aplicação guiada
Num assistente fictício de runbooks, compara uma baseline com cada alteração de prompt, recuperação ou modelo. Usa perguntas representativas, casos sem resposta e pedidos de utilizadores sem direitos sobre certos documentos. Avalia relevância, groundedness, completude, segurança, latência e custo separadamente. Uma resposta fluente pode acrescentar uma instrução inexistente. A autorização deve atuar antes de o documento entrar no contexto; esconder a citação não impede divulgação. Versiona fluxos, prompts, ligações por ambiente e resultados de avaliação. Nos traces, mantém correlação entre pesquisa e geração, reduz dados sensíveis e restringe acesso. Não registes tokens de autenticação para facilitar uma reprodução: a investigação deve usar mecanismos controlados e dados adequados.
Uma resposta sobre rollback cita uma versão antiga. Segue documento, versão do índice e contexto enviado antes de atribuir o erro ao modelo.
Armadilhas comuns
RAG como autorização automática; fine-tuning como atualização de factos; fluência como grounding; traces como arquivo irrestrito.
Tópicos relacionados: Serviços, identidade e operação · Agentes, ferramentas e controlo · Visão, métricas e ciclo de vida
Avalia a resposta com as fontes, a identidade e a configuração que a produziram.
Referência: Generative solution evaluation and observability · AI-102 historical skills measured 2025-12-23; exam retired 2026-06-30