APRENDER. PRATICAR. EVOLUIR.1. Zero observado não significa zero na população
O laboratório usa a distribuição hipergeométrica para uma amostra fixa aleatória simples sem reposição. Com 100 elementos e zero desvios observados em 30, a inversão exata da distribuição produz um limite superior unilateral de oito desvios ao nível de confiança nominal de 95%, usando a convenção conservadora declarada no código. Não é uma estimativa de que existem exatamente oito, nem uma probabilidade de 95% de que o controlo funciona. É uma propriedade do procedimento em amostragens repetidas sob os pressupostos do modelo. Quando se examinam os 100 e a classificação é correta, a contagem observada é a contagem da população definida. Continuam possíveis falhas na definição do universo ou no próprio procedimento de teste.
2. Taxa observada e limite respondem a perguntas diferentes
Um desvio em 30 dá uma taxa observada de aproximadamente 3,33%. No exemplo com N=100, o limite superior de 95% é 13 elementos, ou 13% da população. A diferença representa incerteza de amostragem, não uma correção dos dados observados. Se o critério de confiança previamente acordado exigir um limite de no máximo 5%, esta amostra não o demonstra, apesar de a taxa observada ser inferior. Três desvios em 30 elevam o limite a 21. Regista o critério antes de conhecer o resultado e aplica-o sem alterar o denominador para favorecer uma conclusão. A gravidade de uma exceção também pode exigir investigação própria, mesmo quando uma taxa agregada parece pequena.
3. Evidência em falta não é aprovação
A lista selecionada contém 30 elementos: 25 têm evidência de cumprimento, um apresenta desvio e quatro continuam sem evidência suficiente. O resumo conserva 25 passes, um desvio e quatro desconhecidos. Um em 26 descreve apenas os resultados conhecidos e não elimina os quatro selecionados. Substituí-los por casos mais fáceis altera a seleção e pode ocultar precisamente os casos mais problemáticos. O código também mostra uma análise conservadora que trata os quatro como desvios para explorar o pior caso; não afirma que essa classificação foi demonstrada. O auditor deve procurar evidência alternativa apropriada ou reportar a limitação segundo a metodologia do trabalho. A equipa APS deve explicar indisponibilidades sem reconstruir aprovações retroativas como se fossem contemporâneas.
4. Investigar exceções antes de ampliar conclusões
Uma aprovação em falta pode resultar de falha operacional, evidência perdida, associação incorreta ao deployment ou um processo de emergência diferente. Define o atributo e o critério aplicável antes de classificar. Uma captura atual não demonstra aprovação na data de execução; por outro lado, um campo vazio num extrato não prova sozinho que a aprovação nunca existiu. Confirma factos, âmbito e consequência. Se forem descobertos novos grupos ou alterações de processo, avalia o efeito no plano. Ampliar a amostra pode ser apropriado, mas uma regra de parar logo que o resultado pareça favorável não conserva automaticamente a confiança do desenho fixo original. Documenta a nova decisão e usa um método que corresponda à sequência realmente seguida.
5. Fechar a conclusão e acompanhar a correção
O relatório deve distinguir população, seleção, procedimento executado, resultados, incerteza e limitação. Evita a frase “100% conforme” quando só foi inspecionada uma parte ou quando o teste não cobre o funcionamento completo. Um controlo de recuperação precisa de evidência do resultado recuperado, não apenas de tickets fechados; uma revisão de acessos precisa de critérios sobre direitos efetivos e revogação, não só de uma assinatura. A gestão decide a correção e responde pelo risco; o auditor avalia evidência suficiente para a conclusão e acompanha o tratamento. A repetição do laboratório verifica cálculos e seleção sintética, incluindo 818 configurações pequenas de cobertura do limite. Não valida uma população de cliente, controlos em produção ou um parecer de auditoria real.
# From content/labs/cisa-sampling-decisions
from sampling import upper_count, summarize
print(upper_count(100, 30, 0)) # 8, not a known true count
print(upper_count(100, 30, 1)) # 13, not a posterior probability
print(summarize([True] * 25 + [False] + [None] * 4))
# Four unknown outcomes remain explicit.
Com zero em 30 de uma população de 100, o limite superior didático é oito; com um desvio, passa a 13. Uma taxa observada baixa pode não satisfazer o critério de confiança definido.
Armadilhas comuns
Confundir confiança com probabilidade de conformidade; eliminar desconhecidos; extrapolar seleções dirigidas; ignorar gravidade individual; ampliar a amostra até desaparecer uma conclusão desfavorável.
Tópicos relacionados: Desenhar amostras de auditoria
Reporta o que foi observado, a incerteza que permanece e a decisão que a evidência suporta, mantendo o âmbito explícito.
Referência: DATAPLOT hypergeometric cumulative distribution reference · CISA outline effective August 1, 2024