Critérios de serviço e limites da observação

1. Definir o que tem de acontecer no mesmo pedido

Num serviço fictício de instruções de fundos, o critério exige que pelo menos 70% dos pedidos tenham resultado correto e terminem no prazo. Há dez pedidos identificados de 1 a 10. Os pedidos 1 a 8 têm resultado correto; os pedidos 3 a 10 cumprem o prazo.

Cada indicador isolado é 80%, mas apenas 3 a 8 satisfazem ambos: seis de dez, ou 60%. O critério conjunto falha. Não somes os dois numeradores nem escolhas o maior.

Liga as observações à mesma identidade para calcular a interseção exata. Se só soubesses os dois totais de oito, sem identidades, o número que cumpre ambos poderia ser seis, sete ou oito. Nesse caso, não seria possível decidir o limite de 70% a partir dos totais.

Explicita se a exigência é conjunta por pedido ou se são duas metas independentes: os contratos produzem decisões diferentes.

2. Medir intervalos sem contar a mesma interrupção duas vezes

A janela fictícia de observação vai do segundo 0 ao segundo 600. O serviço está indisponível de 100 até 160 e de 140 até 200; os intervalos incluem o início e excluem o fim. Os dois registos sobrepõem-se entre 140 e 160.

A união dura 100 segundos, não 120. Se o critério usa toda a janela, há 500 segundos disponíveis em 600, cerca de 83,33%. Se outra definição aprovada excluir os primeiros 60 segundos como manutenção, a janela elegível passa a 540 e continua a conter os mesmos 100 segundos de indisponibilidade: 440/540, cerca de 81,48%.

A diferença vem do denominador definido. Uma manutenção não é excluída automaticamente por receber esse nome. Recorta os intervalos pela janela elegível e aplica a regra acordada, incluindo interrupções que começam antes ou terminam depois dela.

3. Ler contagens cumulativas e limites dos intervalos

Um conjunto de 100 durações válidas tem 50 valores até 100 ms, 84 até 200 ms, 96 até 500 ms e 100 no total. As contagens são cumulativas: os primeiros 50 já estão incluídos nos 84. Há 12 observações acima de 200 e até 500 ms.

Para um critério de pelo menos 90% até 300 ms, os dados só estabelecem um intervalo de 84% a 96%. Os 12 valores desse intervalo podem ficar de um lado ou do outro dos 300 ms. Uma estimativa uniforme daria 88%, mas essa distribuição não foi demonstrada.

Uma estimativa exibida num gráfico não substitui a evidência exigida por um critério exato. Um limite de intervalo precisamente nos 300 ms, ou os valores individuais conservados de forma autorizada, permitiria contar diretamente. Confirma também unidade, população e período antes de usar o histograma.

4. Não calcular o percentil global pela média dos percentis

Neste exercício usa-se o método nearest rank: ordenar N valores e escolher a posição arredondada por excesso de p vezes N, contando posições desde 1. A tem nove durações, todas de um segundo; B tem uma duração de dez segundos. O percentil 90 de A é um e o de B é dez.

A média simples desses percentis dá 5,5 segundos; a média ponderada pelo número de pedidos dá 1,9. Nenhuma é o percentil 90 global: ao ordenar os dez valores, a posição nove ainda contém um segundo. O percentil 95 global é dez segundos, pois a posição arredondada por excesso é dez.

O exemplo fornece todos os valores; em relatórios reais, os percentis de cada instância não conservam a distribuição completa. Para a agregação, planeia observações ou histogramas compatíveis e conserva o método usado. Estes números não são previsões de cauda em produção.

5. Calcular o que os dados em falta ainda permitem concluir

Há 100 pedidos elegíveis: 89 comprovadamente cumprem o critério, oito comprovadamente falham e três têm resultado desconhecido por perda de telemetria. O objetivo é pelo menos 90%. Sem inventar os três resultados, a proporção real está entre 89% e 92%.

O objetivo tanto pode ter sido cumprido como falhado; a evidência disponível é inconclusiva. Retirar os três do denominador produziria outra métrica. Marcar desconhecido como sucesso inventa uma observação, e marcar como falha observada também altera o significado.

Pode existir uma política que trate falta de evidência como impedimento para aceitar; nesse caso, o impedimento é demonstrável mesmo continuando desconhecido o resultado de negócio. Distingue estado do serviço, qualidade da observação e decisão de aceitação.

Se os 100 pedidos fossem 92 sucessos confirmados, cinco falhas confirmadas e três desconhecidos, estes últimos não impediriam provar um limiar de 90%, embora uma exigência separada de cobertura completa continuasse por cumprir.

6. Relacionar precisão disponível e decisão exigida

Um dispositivo fictício mede 299 ms. Para este caso aceita-se um erro absoluto máximo de cinco milissegundos, sem qualquer distribuição probabilística. A duração real pode estar entre 294 e 304 ms.

Se o critério exige até 300 ms inclusive, o resultado é indeterminado. Uma leitura de 294 ms teria intervalo de 289 a 299, inteiramente conforme; uma de 306 teria intervalo de 301 a 311, inteiramente não conforme. Não interpretes este intervalo como uma confiança estatística de 95%: o enunciado fornece um limite determinístico aceite para o exercício.

Num projeto real, a equipa responsável teria de justificar o comportamento da medição nas condições usadas. A analista precisa de decidir com os stakeholders se a evidência permite a resolução exigida pelo critério ou se é necessário outro método, preservando a necessidade de negócio.

7. Fazer corresponder a granularidade à necessidade

O requisito pode aplicar-se ao serviço completo, a cada canal ou a cada janela de fecho. Não são formas intercambiáveis de escrever a mesma coisa. Se cada canal tiver de cumprir 95%, um canal de baixo volume com 80% não fica conforme porque o canal maior elevou o agregado.

Se a regra aprovada for apenas um agregado, também não se deve inventar retroativamente uma condição por canal para explicar uma recusa. Regista a necessidade que justificou a escolha e apresenta efeitos relevantes que o agregado possa esconder.

Para um apoio L3, a distinção permite separar um resultado global de uma falha concentrada na integração de um grupo de clientes. Se a exposição observada justificar mudar o requisito, prepara uma alteração com âmbito e decisão explícitos. Não reescrevas a métrica apenas depois de conhecer o resultado que seria mais conveniente.

8. Exercício: preparar uma decisão de aceitação

Antes de ler a resolução, escreve uma recomendação com condição, cálculo, evidência em falta e próximo passo. O critério exige pelo menos 90 de 100 instruções corretas e concluídas até 300 ms. Existem 98 resultados corretos confirmados.

O histograma de durações é o da secção 3; ainda não há ligação por identidade entre os dois conjuntos. Resolução: o histograma permite entre 84 e 96 instruções no prazo, mas não determina o conjunto que é simultaneamente correto e pontual. Não há evidência suficiente para aceitar.

Acrescentar uma contagem exata de 92 até 300 ms já pode resolver a decisão: nos mesmos 100 pedidos, 98 + 92 − 100 = 90 é o mínimo que cumpre ambas as condições. O critério passa mesmo sem conhecer a interseção exata. A equipa entrega depois identidades e encontra 91 em ambos; isso precisa o resultado, sem ser indispensável para provar o limite de 90.

Se o critério exigisse 91, os totais isolados seriam insuficientes e a ligação permitiria decidir. Esta conclusão aplica-se às 100 instruções observadas; não prova desempenho futuro nem dispensa outras condições de aceitação. Na reunião internacional, explica “the joint criterion is met for the observed population” e identifica explicitamente o âmbito.

9. Três condições: escolher a evidência que resolve a decisão

Uma verificação pode exigir prazo, conteúdo correto e rastreio completo na mesma entrega. Em 15 entregas fictícias, há 11 em T, dez em C e nove em R. As interseções inclusivas são T∩C=8, T∩R=7 e C∩R=6; incluem quem pertence aos três conjuntos.

O objetivo é pelo menos cinco nas três condições. Antes de ler a resolução, determina se estes totais bastam e que contagem adicional pedirias. Chama x à interseção tripla.

A região só T tem 11−8−7+x=x−4; só C e só R também têm x−4. Como não pode haver contagens negativas, x≥4. A união tem 11+10+9−8−7−6+x=9+x; como há 15 entregas, x≤6.

Estes limites são realizáveis: para x=4, as três regiões individuais têm zero cada, os pares exclusivos TC/TR/CR têm 4/3/2 e ficam duas entregas fora; para x=5, as regiões individuais têm uma cada, os pares 3/2/1 e fica uma fora; para x=6, têm duas cada, os pares 2/1/0 e não fica nenhuma fora.

Cada construção conserva os mesmos totais. O critério é indeterminado porque quatro falha e cinco ou seis passam. Uma consulta exata ao número n fora de todos os conjuntos dá n=15−(9+x)=6−x.

Se n≤1, o critério passa; se n=2, falha. Não é obrigatório exportar todas as identidades para resolver esta pergunta quando a consulta agregada conserva a informação necessária. No trabalho, confirma que todas as contagens usam a mesma população, janela e definições, que os pares incluem a tripla e que a consulta cobre toda a população autorizada.

Distingue essa contagem exata de uma estimativa por amostra. Armadilhas: usar o menor par como interseção tripla, contar os pares como regiões exclusivas ou multiplicar percentagens sem justificar independência. Resumo: define a condição conjunta, demonstra resultados compatíveis com os dados e recolhe a evidência suficiente para distinguir as decisões.

Relaciona esta análise com os limites de observação das secções 5 e 6 e com o plano de recolha de evidência.

Armadilhas comuns

Somar intervalos sobrepostos; adicionar contagens cumulativas; fazer a média de percentis; tratar dados desconhecidos como observados; usar um gráfico interpolado como contagem exata; trocar granularidade após ver os resultados.