← Administração Oracle: recuperação, desempenho e produção
08 / 19 · 115 MIN

Pesquisa vetorial e migração de modelos

Avalia relevância, recursos e autorização numa pesquisa aproximada.

Conceito e mecanismo

Embeddings representam conteúdo num espaço produzido por um modelo e configuração. Vetores com a mesma dimensão não são necessariamente comparáveis quando vêm de modelos diferentes. A indexação do corpus e a representação da pergunta devem ser coerentes.

A métrica de distância também faz parte do contrato: verifica a relação entre métrica da pesquisa, índice e plano usado. Índices aproximados trocam recursos e qualidade de recuperação por velocidade. Um alvo de accuracy não equivale a recall medido para todas as consultas nem à probabilidade de um documento ser verdadeiro.

Compara resultados com pesquisa exata num conjunto representativo e mantém perguntas que exponham casos difíceis.

Aplicação guiada

Num assistente fictício de APS, mede latência, recall, memória, tempo de construção e manutenção antes de escolher o índice. Uma experiência com dez documentos não representa um corpus grande nem concorrência de produção. Filtros de autorização continuam obrigatórios: similaridade não dá acesso a runbooks de outro âmbito.

Ao mudar modelo, versiona a representação, reprocessa o corpus e valida uma rota de corte e retorno. Não troques só o modelo da pergunta mantendo vetores incompatíveis. O gestor técnico coordena owners dos documentos, equipa de segurança e DBA, definindo quais dados podem ser usados e como uma regressão de relevância será detetada sem expor conteúdo confidencial.

Ler uma ordenação antes de escolher o índice

Um assistente fictício de APS procura procedimentos para uma falha de batch. O DBA recebe a queixa de que a lista mudou depois de uma alteração técnica. Antes de reconstruir o índice, fixa a pergunta, o corpus, os filtros, a versão da representação e a métrica.

O pequeno ensaio usa três vetores fabricados, sem documentos bancários: [9,0,0], [1,0.3,0] e [0,1,0], comparados com [1,0,0]. Por COSINE a ordem dos IDs é 1,2,3; por EUCLIDEAN é 2,3,1. O primeiro vetor tem a mesma direção da consulta, mas está longe dela em distância euclidiana.

Nenhum destes resultados valida a verdade ou atualidade de um procedimento. Na reunião de diagnóstico, separa mudança de representação, mudança do cálculo e mudança do acesso físico. Só a última pode ser atribuída diretamente ao percurso escolhido pelo otimizador.

Manter o contrato da consulta explícito

No ensaio de 1024 vetores, o top-7 EUCLIDEAN exato foi 22,23,21,263,318,262,317. A criação do índice não alterou esse resultado quando a consulta manteve a métrica e FETCH EXACT. Outra consulta omitiu a métrica: com a coluna indexada por EUCLIDEAN, devolveu esses mesmos IDs; depois de remover o índice, devolveu 320,319,616,22,23,321,264, correspondentes à referência COSINE.

Este comportamento observado torna visível um contrato implícito que pode surpreender uma equipa durante manutenção. Regista a métrica no SQL da experiência e na documentação da aplicação. A regra aqui demonstrada envolve uma única coluna indexada; expressões com várias colunas e formatos BINARY exigem verificar as regras específicas.

Remover um índice não voltou a gerar os embeddings. A diferença veio da resolução da métrica omitida.

Medir recuperação e identificar o acesso

O laboratório cria HNSW e executa uma pesquisa aproximada com a métrica do índice. Um hint documentado ajuda a observar o caminho num conjunto pequeno, mas o relatório usa o plano do cursor realmente executado. A operação VECTOR INDEX com a opção HNSW SCAN aparece na execução aproximada.

A consulta exata apresenta TABLE ACCESS FULL. Quando a consulta pede COSINE sobre o índice EUCLIDEAN, o plano observado também faz leitura completa e os IDs coincidem com a referência exata COSINE. As duas passagens concluídas obtiveram os sete vizinhos EUCLIDEAN da referência, logo recall@7=7/7 nesse ensaio.

Não se mediu latência nem se demonstrou recall mínimo para outras consultas. Para um serviço real, conserva o conjunto de avaliação, distribuição dos resultados, carga concorrente e critérios de aceitação acordados. Uma melhoria de tempo só é útil dentro do compromisso de qualidade definido.

Comparar dentro da população elegível

O dataset sintético marca como grupo A os IDs divisíveis por três. Filtrar o top-7 global deixa apenas 21 e 318. Contudo, a pesquisa exata calculada dentro de A devolve sete IDs: 21,318,264,78,24,261,207.

A diferença é reproduzível e ensina que a ordem das operações altera a pergunta respondida. A aplicação que apresenta apenas dois resultados não pode concluir que existem apenas dois documentos elegíveis. Esta etiqueta é um filtro de demonstração, não uma implementação de autorização.

Num projeto, a equipa de segurança define a política de acesso e o DBA confirma o comportamento da consulta nessa população. O gestor inclui no plano de aceitação pesquisas com grupos pequenos, documentos atualizados e conjuntos sem resultados.

Nunca retira controlos de acesso para melhorar uma métrica de recuperação.

Tratar entradas e recursos como condições distintas

Uma coluna VECTOR(3,FLOAT32) rejeitou a tentativa de inserir duas dimensões com ORA-51803. A linha não foi criada. Uma entrada NULL produziu distância NULL, que não deve ser convertida num vizinho perfeito.

Já a primeira tentativa de criar o índice falhou por memória, não por dimensão. Nesta imagem Oracle Free, a alteração dinâmica inicial foi recusada e uma reserva de 64 MiB inicializada no arranque não bastou para a criação ensaiada. A execução concluída usou reserva CDB de 256 MiB e uma PDB com SGA_TARGET de 1 GiB; a quota vetorial efetiva foi registada.

Estes valores descrevem o ambiente descartável e não são uma recomendação de dimensionamento. O limite de uma PDB não mede os bytes efetivamente usados. Consulta a documentação da versão e distingue infraestrutura gerida, serviço autónomo e instalação local antes de propor comandos.

Exercício guiado e decisão de entrega

Usa apenas um schema descartável autorizado para o SQL abaixo. Primeiro prevê a ordem dos três vetores e confirma-a. Depois cria os 1024 vetores sintéticos, guarda o top-7 exato, cria HNSW e recolhe a pesquisa aproximada.

Calcula a interseção dos IDs; regista a métrica, o corpus e os filtros usados. Um administrador do laboratório pode recolher o plano do cursor correspondente sem dar privilégios amplos à conta da aplicação. Compara também COSINE com o índice EUCLIDEAN e o top-7 filtrado dentro de A.

Entrega uma nota com o que foi observado, o que não foi medido e o critério que impediria a passagem a produção. Uma alternativa aceitável num corpus pequeno pode ser pesquisa exata, desde que cumpra o objetivo de latência e recursos. O custo dessa opção deve ser medido; o ensaio não declara um vencedor universal.

-- Disposable Oracle 26ai schema only. CREATE SESSION, CREATE TABLE and bounded tablespace quota.
-- Lab administrator must provide a working vector pool before CREATE VECTOR INDEX.
-- No production data, external models or administrative credentials required below.

-- metric-fixture
create table metric_probe(id number primary key, embedding vector(3,float32));
insert into metric_probe values(1,'[9,0,0]');
insert into metric_probe values(2,'[1,0.3,0]');
insert into metric_probe values(3,'[0,1,0]');
insert into metric_probe values(4,null);
commit;

-- cosine-order
select id from metric_probe where embedding is not null order by vector_distance(embedding,to_vector('[1,0,0]',3,float32),cosine) fetch exact first 3 rows only;

-- euclidean-order
select id from metric_probe where embedding is not null order by vector_distance(embedding,to_vector('[1,0,0]',3,float32),euclidean) fetch exact first 3 rows only;

-- search-fixture
create table search_probe(id number primary key, allowed_group varchar2(1), embedding vector(3,float32));
insert into search_probe select level,case when mod(level,3)=0 then 'A' else 'B' end,to_vector('['||to_char(mod(level*17,997)/997,'FM0.999999999','NLS_NUMERIC_CHARACTERS=''.,''')||','||to_char(mod(level*37,991)/991,'FM0.999999999','NLS_NUMERIC_CHARACTERS=''.,''')||','||to_char(mod(level*53,983)/983,'FM0.999999999','NLS_NUMERIC_CHARACTERS=''.,''')||']',3,float32) from dual connect by level<=1024;
commit;

-- exact-before-index
select /* DR_VEC_EXACT_05 */ id from search_probe order by vector_distance(embedding,to_vector('[0.4,0.8,0.2]',3,float32),euclidean) fetch exact first 7 rows only;

-- create-hnsw
create vector index search_hnsw on search_probe(embedding) organization inmemory neighbor graph distance euclidean with target accuracy 90 parameters(type HNSW,neighbors 16,efconstruction 64);

-- approximate
select /*+ vector_index_scan(search_probe search_hnsw) */ /* DR_VEC_APPROX_05 */ id from search_probe order by vector_distance(embedding,to_vector('[0.4,0.8,0.2]',3,float32),euclidean) fetch approximate first 7 rows only with target accuracy 90;

-- cosine-reference
select id from search_probe order by vector_distance(embedding,to_vector('[0.4,0.8,0.2]',3,float32),cosine) fetch exact first 7 rows only;

-- metric-mismatch
select /*+ vector_index_scan(search_probe search_hnsw) */ /* DR_VEC_MISMATCH_05 */ id from search_probe order by vector_distance(embedding,to_vector('[0.4,0.8,0.2]',3,float32),cosine) fetch approximate first 7 rows only with target accuracy 90;

-- filtered-reference
select id from search_probe where allowed_group='A' order by vector_distance(embedding,to_vector('[0.4,0.8,0.2]',3,float32),euclidean) fetch exact first 7 rows only;

-- omitted-metric
select id from search_probe order by vector_distance(embedding,to_vector('[0.4,0.8,0.2]',3,float32)) fetch exact first 7 rows only;

-- drop-index
drop index search_hnsw;

-- omitted-after-drop
select id from search_probe order by vector_distance(embedding,to_vector('[0.4,0.8,0.2]',3,float32)) fetch exact first 7 rows only;
NA PRÁTICA

Corpus com modelo A e pergunta com modelo B: dimensão igual é insuficiente; compara representações e versão antes de afinar o índice.

Armadilhas comuns

Accuracy como verdade; dimensão como compatibilidade; relevância como permissão; primeiro teste como capacidade.

Tópicos relacionados: Containers, serviços e recursos · Ciclo de vida e isolamento de PDBs · Backup e prova de recuperação

Leva esta ideia contigo

Explicita métrica e população, compara IDs com uma referência exata, confirma o plano e separa recall de validade operacional.

Criar conta

Referências

Oracle® é uma marca registada da Oracle e/ou das suas afiliadas. A dr.pt é uma plataforma de preparação independente e não está afiliada, associada, patrocinada, autorizada nem aprovada por Oracle. Os conteúdos e as perguntas são originais, não são perguntas oficiais de exame, e concluir os nossos testes não atribui nem garante qualquer certificação. Os nomes são usados apenas para identificar o tema. Todas as outras marcas pertencem aos respetivos titulares.