Medição
O que uma rodada executa, o que o veredito registra, e como distinguir um ganho real da dispersão natural entre repetições.
Medir é executar os cenários contra uma composição do agente e registrar o que aconteceu. O resultado de cada cenário é um veredito, e a medição inteira é uma rodada.
Ela não remede o que não mudou
Vale começar por aqui, porque é o que torna a medição um hábito em vez de um evento. Ao abrir uma rodada, a plataforma classifica cada cenário em três situações e só conduz uma delas.
| Situação | O que a plataforma faz |
|---|---|
| Ainda vale | reaproveita a prova que já existe, sem executar nada |
| Envelheceu | executa de novo, porque algo que ela mede mudou |
| Perdeu a origem | reporta honestamente que não pôde ser medido |
O que decide isso é uma marca do que aquele cenário depende. Se nada que ele mede se alterou desde a última vez, a prova anterior continua respondendo por ele, e medir de novo produziria o mesmo resultado a um custo real.
A consequência é a que interessa: medir tudo antes de publicar custa apenas o que de fato mudou. É por isso que o portão pode rodar em toda publicação em vez de virar uma cerimônia trimestral que ninguém cumpre.
O que o veredito registra
| Registro | O que diz |
|---|---|
| Situação | passou ou falhou |
| Expectativas | quantas foram satisfeitas, de quantas foram medidas |
| Falhas | em qual repetição, e o que houve no lugar |
| Evidência | a linha do tempo de uma repetição que falhou |
| Amostras | inferências, voltas e custo de cada repetição |
| Composição | o que estava vinculado, e em que revisão da plataforma |
Um cenário passa quando todas as expectativas foram satisfeitas em todas as repetições e nenhuma delas cruzou o teto declarado. Nada mais pesa, e a duração é evidência para quem for diagnosticar em vez de critério.
A execução medida não guarda a conversa, e é por isso que o veredito carrega a evidência dentro dele: a linha do tempo da repetição que falhou é a única cópia que vai existir depois.
Dispersão
As amostras existem para responder uma pergunta só: essa diferença é real?
Um modelo probabilístico não devolve o mesmo custo nem o mesmo caminho a cada execução, então uma rodada que gastou dez por cento menos que a anterior pode ter melhorado ou pode ter tido sorte. A distribuição entre as repetições é o que separa as duas leituras, e sem ela toda comparação vira uma história contada sobre ruído.
Diferença que cabe dentro da dispersão não é ganho.
Uma alteração por rodada
É a regra que faz a calibragem convergir: altere um artefato, meça, compare, e só então passe ao próximo.
Agrupar três alterações e ver o resultado melhorar não diz qual delas ajudou, e uma delas pode ter piorado escondida pelas outras duas. O ganho aparente vira dívida na rodada seguinte, quando alguém precisar entender por que o número mudou e não houver como saber.
Comparar
Vereditos são endereçados pela composição que os produziu, o que permite comparar o mesmo cenário entre duas composições e responder o que exatamente mudou.
Essa comparação distingue duas coisas que se parecem e exigem respostas opostas: o agente mudou ou a plataforma mudou. Um cenário que passou ontem e falha hoje sem ninguém ter tocado no agente é um diagnóstico diferente de um que falha depois de uma edição, e a composição registrada é o que separa os dois sem depender da memória de ninguém.