Guia BA
O Batch Rodou com Sucesso. Então Por Que os Dados Sumiram?
Um status verde prova que o job terminou. Não prova que o resultado de negócio estava correto.
Surya · 13 de agosto de 2026 · 5 min de leitura · 9 práticas
Para Business Analysts e times de Operações investigando um batch que reporta SUCESSO mas está com dados faltando, BAs apoiando funções de reconciliação, qualidade de dados ou controle, QAs e desenvolvedores tentando isolar qual estágio do pipeline realmente perdeu registros e Qualquer um que já teve que explicar "o job está verde" para alguém segurando o número errado.
São 8h30. A Operação abre o relatório diário. Ontem: 48.216 registros. Hoje: 46.193 registros. Mais de 2.000 registros faltando. Alguém verifica o batch da madrugada. Status: SUCESSO. O desenvolvedor diz que o job terminou com sucesso. A Operação pergunta onde estão os dados. Os dois podem estar certos — um job bem-sucedido prova que o processo terminou. Não prova que o resultado de negócio estava correto. Imagine um banco processando as operações de ontem durante a madrugada: Origem da Operação → Extração → Transformação → Validação → Carga → Reconciliação → Relatório. O batch normalmente processa cerca de 50.000 operações. Hoje o agendador está verde — nenhuma falha técnica óbvia — mas o relatório está faltando 2.000 operações. Não comece olhando fixo para o relatório final. Siga o dado. A solução não é discutir se o batch "funcionou". É rastrear a contagem de registros por cada estágio até você encontrar o ponto de controle exato onde esperado para de bater com real. É isso que transforma "algum dado está faltando" em "2.000 registros esperados desapareceram entre Transformação e Validação" — um problema que alguém realmente consegue resolver.
01Ponto de Controle 01
ORIGEM — O dado existia?
Antes de culpar o batch, verifique se a origem chegou a ter os registros faltantes.
Ponto de Controle 01
ORIGEM — O dado existia?
Antes de culpar o batch, verifique se a origem chegou a ter os registros faltantes.
Se a origem continha só 48.000 registros, o problema pode estar upstream, antes de o seu pipeline sequer tocar o dado. Se a origem tinha 50.000 mas só 48.000 foram extraídos, você já reduziu o problema para algo dentro do seu próprio processo.
Resumo
- Quantos registros eram esperados?
- Quantos estavam realmente disponíveis?
- Todo sistema de origem entregou?
- Alguma coisa chegou atrasada?
- Registros estavam incompletos, duplicados ou malformados?
- A janela de extração estava correta?
Por que isso ajuda
Contagens transformam "algum dado está faltando" em "2.000 registros esperados desapareceram entre Origem e Extração" — algo bem mais fácil de investigar.
02Ponto de Controle 02
EXTRAÇÃO — Selecionamos tudo que deveríamos?
Um batch pode rodar com sucesso enquanto seleciona a população inteiramente errada.
Ponto de Controle 02
EXTRAÇÃO — Selecionamos tudo que deveríamos?
Um batch pode rodar com sucesso enquanto seleciona a população inteiramente errada.
A pergunta chave é: quais critérios de seleção foram realmente usados? Depois compare Esperado → Selecionado → Rejeitado.
Resumo
- A query diz trade_date = ontem, mas algumas operações chegaram depois da meia-noite.
- Um filtro exclui um status recém-introduzido.
- A extração usa created_date enquanto o negócio espera trade_date.
Por que isso ajuda
Uma extração verde ainda pode estar incompleta — o job teve sucesso rodando a query errada.
03Ponto de Controle 03
TRANSFORMAÇÃO — A lógica de negócio removeu registros?
É aqui que o dado é mapeado, enriquecido, unido, agregado, convertido, deduplicado e classificado — e onde registros saem da população em silêncio.
Ponto de Controle 03
TRANSFORMAÇÃO — A lógica de negócio removeu registros?
É aqui que o dado é mapeado, enriquecido, unido, agregado, convertido, deduplicado e classificado — e onde registros saem da população em silêncio.
A lacuna de 1.800 registros
Resumo
- Um join exige dados de referência que não existem para um produto novo.
- Uma moeda não mapeada derruba registros.
- A deduplicação remove operações válidas, não só as duplicadas.
Por que isso ajuda
Não pergunte só se a transformação teve sucesso. Pergunte qual regra fez esses registros específicos saírem da população esperada.
04Ponto de Controle 04
VALIDAÇÃO — Alguma coisa falhou em silêncio?
A maioria dos pipelines valida antes de carregar — mas o que acontece quando um registro falha na validação importa tanto quanto a validação em si.
Ponto de Controle 04
VALIDAÇÃO — Alguma coisa falhou em silêncio?
A maioria dos pipelines valida antes de carregar — mas o que acontece quando um registro falha na validação importa tanto quanto a validação em si.
O batch inteiro para numa falha ou ele rejeita o registro e continua? Um job pode mostrar SUCESSO enquanto milhares de registros ficam parados numa tabela de rejeição, uma fila de erro, um arquivo de exceção ou uma dead-letter queue.
Resumo
- Conta existe?
- Campos obrigatórios preenchidos?
- Moeda válida?
- Status permitido?
- Dado de referência disponível?
Por que isso ajuda
Não pergunte só se a validação rodou. Pergunte quantos registros passaram, falharam e foram pulados.
05Ponto de Controle 05
CARGA — Tudo realmente chegou?
Registros passarem na validação não é o mesmo que registros chegarem ao destino.
Ponto de Controle 05
CARGA — Tudo realmente chegou?
Registros passarem na validação não é o mesmo que registros chegarem ao destino.
O fluxo
Resumo
- Falhas de restrição
- Erros de chave duplicada
- Problemas de permissão
- Problemas de armazenamento
- Rollbacks de transação
- Cargas parciais
Por que isso ajuda
"Carga concluída" não basta sozinho — você precisa dos números em cada um desses cinco estados.
06Ponto de Controle 06
RECONCILIAÇÃO — Encontre a primeira lacuna
Esse costuma ser o jeito mais rápido de localizar o problema e é frequentemente pulado em favor de adivinhação.
Ponto de Controle 06
RECONCILIAÇÃO — Encontre a primeira lacuna
Esse costuma ser o jeito mais rápido de localizar o problema e é frequentemente pulado em favor de adivinhação.
Pegue o batch noturno do banco: Origem 50.000, Extraído 50.000, Transformado 48.200, Validado 48.200, Carregado 48.200, Reportado 48.200. A primeira lacuna aparece durante a transformação — um novo tipo de instrumento foi introduzido ontem, a transformação junta toda operação a uma tabela de dados de referência, e esse novo tipo de instrumento não tem mapeamento de referência. O join derruba esses registros. O batch ainda completa. Tecnicamente SUCESSO. Resultado de negócio: 2.000 operações faltando.
Por que isso ajuda
Sem reconciliação, um time pode passar horas verificando o agendador, o banco de dados e o relatório. Com ela, a regra é simples: encontre o primeiro ponto de controle onde esperado ≠ real. É ali que a investigação geralmente deveria começar.
Dica — Agora você consegue explicar o incidente com precisão: instrumento novo → mapeamento de referência faltando → join derruba registros → população downstream incompleta. Isso é muito mais útil do que "problema no batch".
07Ponto de Controle 07
CONSUMO — O dado está faltando ou só invisível?
Às vezes o dado chegou ao destino perfeitamente. O usuário simplesmente não consegue ver.
Ponto de Controle 07
CONSUMO — O dado está faltando ou só invisível?
Às vezes o dado chegou ao destino perfeitamente. O usuário simplesmente não consegue ver.
Resumo
- Filtros do relatório estão errados
- O cache do dashboard está desatualizado
- Datas de relatório diferem das datas de processamento
- Permissões escondem registros
- A extração downstream não foi atualizada
- O relatório lê uma tabela ou view diferente
Por que isso ajuda
"Dado faltando no pipeline" e "dado faltando no que o usuário vê" são problemas diferentes que precisam de correções diferentes.
08Ponto de Controle 08
O que SUCESSO realmente significa?
Essa é a pergunta que costuma mudar a investigação inteira.
Ponto de Controle 08
O que SUCESSO realmente significa?
Essa é a pergunta que costuma mudar a investigação inteira.
Comparação
SUCESSO técnico
Processo iniciou → nenhuma exceção fatal → processo terminou.
SUCESSO de negócio
Todos os registros esperados processados → exceções identificadas → totais reconciliados → dado downstream disponível.
Por que isso ajuda
O desenvolvedor e a Operação não estão discordando sobre fatos — eles estão usando definições diferentes da mesma palavra. Um dos trabalhos do BA é transformar sucesso técnico em sucesso de negócio mensurável. Se SUCESSO pode significar a primeira definição enquanto um resultado importante está errado, o próprio critério de sucesso está incompleto.
09Ponto de Controle 09
Transforme o incidente num requisito melhor
Corrigir o problema é só metade do trabalho. Pergunte como isso vai ser detectado automaticamente amanhã.
Ponto de Controle 09
Transforme o incidente num requisito melhor
Corrigir o problema é só metade do trabalho. Pergunte como isso vai ser detectado automaticamente amanhã.
Por exemplo: "Alertar a Operação se a contagem de registros carregados diferir da contagem extraída em mais de 0,5%."
Resumo
- Reconciliação origem-versus-destino
- Contagens de registros rejeitados
- Totais de controle
- Limiares de tolerância
- Alertas de dado faltante
- Monitoramento de exceções
Por que isso ajuda
Você não só ajudou a corrigir o problema de ontem. Você reduziu a chance de o problema de amanhã passar despercebido.
Um status verde prova que o processo terminou.
Não prova que o resultado de negócio estava correto.
Da próxima vez que um batch reportar SUCESSO mas os números não baterem, não pare no agendador. Rastreie a contagem por Origem, Extração, Transformação, Validação, Carga, Reconciliação e Consumo e encontre o primeiro ponto de controle onde esperado para de bater com real. É aí que a investigação realmente começa — e reconciliar contagens em cada ponto de controle é como você garante que isso não vai acontecer de novo em silêncio.
Leve isso com você
Checklist de Investigação de Dados Faltantes / Batch
CHECKLIST DE INVESTIGAÇÃO DE DADOS FALTANTES / BATCH Nome do batch / job: Contagem esperada de registros: Contagem real de registros: Lacuna: CONTAGENS POR PONTO DE CONTROLE Origem: Extração: Transformação: Validação: Carga: Relatório: Primeiro ponto de controle onde esperado ≠ real: Tipo de causa raiz (origem / seleção / transformação / validação / carga / consumo): [ ] Causa raiz identificada e explicada [ ] Contagens reconciliam em cada ponto de controle [ ] Registros rejeitados ou pulados estão entendidos [ ] Registros faltantes foram restaurados ou explicados [ ] Saída downstream foi verificada [ ] Controles de monitoramento ou reconciliação adicionados onde necessário [ ] Stakeholders entendem o que aconteceu [ ] O aprendizado está documentado
Receba novos guias em primeira mão.