Avaliar a expansão de uma release

1. Separar parar, manter e expandir

Uma release fictícia recebe inicialmente um conjunto limitado de instruções. A regra acordada manda parar a expansão quando existem pelo menos 100 instruções concluídas e cinco ou mais falhas; permite propor expansão apenas depois de 100 conclusões, 30 minutos de observação e menos de cinco falhas; qualquer outro estado mantém a exposição atual.

A autorização final pertence à responsável de serviço. Aos 18 minutos há 120 conclusões e duas falhas. Não existe condição de paragem demonstrada, mas a duração mínima ainda não foi cumprida: mantém-se a exposição.

Aos 35 minutos, quatro falhas em 140 conclusões cumprem estas condições numéricas e temporais, permitindo propor expansão. Não significam autorização automática. Esta regra é apenas um contrato didático; não foi deduzida de uma probabilidade estatística.

Num projeto real, os responsáveis devem justificar o limiar e a duração face ao risco e ao tipo de trabalho.

2. Conservar a versão a que cada resultado pertence

Num período definido, a versão antiga concluiu 900 instruções, nove com falha; a nova concluiu 100, oito com falha. O total tem 17 falhas em 1 000, ou 1,7%. Porém, a versão nova tem 8%, enquanto a antiga tem 1%.

Se o critério da nova versão for no máximo 2%, o agregado não demonstra conformidade: a nova versão falha o critério observado. O contraste não prova, por si só, qual componente causou a falha. As populações podem diferir em características relevantes.

A recomendação deve conservar as duas conclusões: existe uma falha do critério dado e a explicação causal precisa de investigação. Guarda a versão efetiva, o período e a unidade de trabalho com cada resultado; um rótulo aplicado apenas no painel final pode não recuperar esta informação.

3. Verificar limites absolutos quando os grupos partilham dependências

O grupo novo e o grupo de comparação usam a mesma base de dados. Durante uma janela, ambos têm 8% de falhas. A regra exige simultaneamente taxa inferior a 5% em cada grupo e diferença entre grupos até um ponto percentual.

A diferença observada é zero e cumpre a segunda condição; as duas taxas violam a primeira. Não é uma decisão indeterminada só porque o contraste é pequeno: a condição absoluta está demonstradamente fora do limite. Os registos mostram também saturação da base, mas ainda não identificam a origem da carga.

A ação prevista é suspender a expansão e investigar, seguindo os procedimentos operacionais acordados. Não atribuas automaticamente toda a saturação à nova versão. Uma dependência comum pode fazer o grupo usado para comparação sofrer o mesmo efeito; não deixa de ser um problema porque os dois resultados se aproximam.

4. Observar a unidade de trabalho até ao resultado relevante

Um lote de reconciliação tem três passos: leitura, cálculo e publicação. A avaliação pretende comparar o lote completo executado por uma única versão. O encaminhamento atual escolhe um grupo diferente em cada passo.

Mesmo que cada registo tenha versão, um lote que passou pelos dois grupos não representa um resultado integral de uma versão. A equipa precisa de manter a atribuição do lote, ou de formular uma pergunta de avaliação diferente que cubra explicitamente a mistura.

Noutro ensaio, 60 lotes começaram; aos oito minutos, 42 terminaram e 18 continuam ativos. O requisito permite 12 minutos por lote. As 42 conclusões não permitem declarar que todos os 60 cumpriram o prazo, e os 18 ativos ainda não são falhas demonstradas.

Conserva o instante de início de cada lote e observa o desfecho no limite relevante.

5. Medir a exposição na unidade que interessa ao negócio

Uma seleção contém 50 de 1 000 clientes, ou 5%. Contudo, esses 50 representam 400 de 1 000 instruções da janela, ou 40%. Não há contradição: clientes e instruções são denominadores diferentes.

Se a autorização limita a exposição a 10% das instruções, a seleção ultrapassa o limite, apesar de envolver poucos clientes. Também não se pode converter automaticamente 40% das instruções em 40% do valor financeiro. Para decidir, pede o atributo que o limite usa e preserva a definição da janela.

Uma amostra escolhida só por baixo volume pode reduzir exposição inicial e, ao mesmo tempo, não incluir os lotes mais exigentes. Documenta estes dois efeitos, sem fingir que uma escolha de baixo risco inicial já representa todos os clientes. A expansão deve acrescentar cobertura de forma planeada.

6. Fazer coincidir a janela do relatório com a pergunta

Às 10:00 começa a nova versão. Entre 10:00 e 10:05 conclui dez instruções, todas com falha. Um painel das 09:00 às 10:05 mistura essas dez com 990 conclusões anteriores sem falha e mostra 1%.

A conta global está certa para o conjunto apresentado, mas não responde à taxa da nova versão desde a ativação: essa taxa observada é 100%. O relatório não deve ser corrigido apenas mudando o título. A consulta e os dados precisam de selecionar a população e o período definidos.

Antes da reunião, escreve a pergunta completa: versão, início, fim, unidade e resultados elegíveis. Em métricas acumuladas, confirma ainda se estás a comparar incrementos do mesmo período. Uma captura de ecrã sem estes elementos pode ser insuficiente para reproduzir a conclusão.

7. Distinguir associação, causa e decisão permitida

Antes de introduzir código novo, a equipa executa a mesma versão em dois grupos. Um recebe apenas ficheiros pequenos e o outro recebe ficheiros grandes. Observa 1% e 7% de falhas.

A diferença não pode ser atribuída a uma alteração de código que ainda não ocorreu. O ensaio revela uma diferença de população, de configuração, de medição ou outra causa a investigar. Não determina automaticamente qual delas explica o resultado.

Quando a nova versão chegar, manter a mesma atribuição pode continuar a confundir a comparação. A analista deve comunicar que a comparação prevista não isola o efeito da versão e propor um desenho adequado com os responsáveis técnicos. Um ensaio com resultados iguais também não provaria que todos os futuros grupos serão equivalentes.

A exigência é fazer uma conclusão proporcional à evidência, não transformar qualquer contraste numa certeza causal.

8. Exercício: preparar a recomendação de expansão

Escreve uma recomendação antes de ler a resolução. A autorização exige pelo menos 100 lotes concluídos, 30 minutos observados, menos de cinco falhas e exposição até 10% das instruções da janela. Aos 35 minutos, a nova versão tem 120 conclusões e três falhas; os clientes selecionados representam 18% das instruções.

A equipa apresenta apenas “3/120, pronto a expandir”. Resolução: contagem, tempo e limite de falhas cumprem as condições fornecidas. A exposição viola o limite de 10%, pelo que o conjunto de condições não permite propor expansão.

Comunica a exposição observada e aplica a ação prevista no acordo, sem inventar que corrigir o denominador eliminou a exposição já ocorrida. Uma revisão autorizada do limite é uma decisão futura, não prova de conformidade passada. Na reunião em inglês, podes dizer “the outcome conditions are met, but exposure exceeds the agreed limit” e indicar quem decide o próximo passo.

Prática guiada: decisões com janelas e populações explícitas

1. Reabertura. Numa regra de treino, propor expansão exige 60 conclusões, 20 minutos e menos de três falhas. Três falhas após 60 conclusões suspendem. A primeira janela terminou suspensa aos 20; a responsável reabriu aos 25, reiniciando contagens e duração. Aos 40 há 70 conclusões e uma falha. Decorreu apenas um quarto de hora, pelo que se mantém exposição. A primeira proposta possível é aos 45, se as outras condições permanecerem válidas. Guardar o relatório antigo não obriga a juntar as suas contagens à nova janela.

2. Prazo e viabilidade. Selecionaram-se 12 lotes para uma meta de 75% pontuais. Seis já cumpriram, um está atrasado e cinco ainda podem cumprir individualmente; a capacidade confirmada permite terminar no máximo três desses cinco a tempo. O máximo é nove de 12: atingir a meta ainda é possível, mas não está demonstrado. Entre seis e nove poderão cumprir. Identificar impossibilidade exige que até o máximo fique abaixo da meta; não basta haver estados pendentes. As identidades dos futuros atrasos continuam por determinar.

3. Exposição. Uma janela contém 500 instruções e permite até 20% expostas em qualquer momento. A expôs 70, B expôs 50 e 30 pertencem a ambos: a união é 90. Retirar dez não altera essa história. C contém 30, com 20 já expostas, acrescentando dez: a união passa a 100 e respeita exatamente o limite inclusivo. Se acrescentasse 11, ultrapassaria. Mostra a diferença entre presença atual e exposição acumulada antes de propor mudança.

4. Critérios. Num outro ensaio, R1 tem quatro falhas em 200. R2 bruto tem quatro em 120; a população exclui previamente 20 testes internos, dois falhados, resultando em duas em 100. As taxas elegíveis são ambas 2%. Um subgrupo crítico tem uma falha em 25, ou 4%. Com limites gerais abaixo de 3%, diferença até 0,5 pontos e subgrupo até 5%, estes critérios passam. Isso não constitui assinatura de aceitação nem prova causalidade.

No trabalho, anexa a definição da janela, da identidade, da população e das regras ao estado comunicado. Evita misturar registos brutos com elegíveis ou uma recomendação com autoridade para executar. Resumo: resultados, limites possíveis e autorização respondem a perguntas diferentes; conserva as ligações entre eles.

Armadilhas comuns

Confundir ausência de paragem com autorização; misturar versões ou períodos; confiar apenas na diferença entre grupos; contar passos como lotes completos; traduzir percentagem de clientes em valor exposto.