Conceito e mecanismo
Evidência útil precisa de ser suficiente para o objetivo e adequada em relevância e fiabilidade. Examinar registos, entrevistar responsáveis e testar mecanismos produzem informação diferente e podem complementar-se. NIST SP 800-53A descreve estes métodos e a escolha de profundidade e cobertura. O método não deve ser escolhido só por ser fácil. Para testar aprovação de alterações, selecionar apenas tickets aprovados exclui possíveis alterações sem ticket ou sem aprovação. Aumentar a amostra dentro do conjunto errado não corrige essa exclusão. Define a população, reconcilia a origem e explica a seleção antes de extrapolar resultados.
Aplicação guiada
Testes de atributos podem avaliar se uma aprovação exigida ocorreu; testes substantivos podem verificar diretamente valores e movimentos. A técnica e a amostragem dependem do objetivo, não de um número universal de itens. Uma análise de 100% do CSV continua incompleta se o CSV omitir 28 dos 10 000 movimentos esperados. Valida também a lógica do script e mantém rastreabilidade dos filtros. Num finding, separa critério, condição observada, consequência e recomendação. Avalia a resposta da gestão e corrige erros factuais, mas não transforma uma promessa de correção em controlo já eficaz. No follow-up, testa evidência proporcional do resultado, em vez de fechar apenas porque o ticket está concluído.
Sem exceções entre 9 972 registos analisados não significa sem exceções nos 10 000 previstos.
Armadilhas comuns
População enviesada; precisão estatística não demonstrada; ausência de finding como prova de cobertura; fecho administrativo como eficácia.
Tópicos relacionados: Governance, recursos e fornecedores · Entrega, migração e aceitação
A conclusão não deve ser mais ampla do que a evidência.
Referência: Assessing Security and Privacy Controls · CISA outline effective August 1, 2024