Skip to content

Guia BA

O Batch Rodou com Sucesso. Então Por Que os Dados Sumiram?

Um status verde prova que o job terminou. Não prova que o resultado de negócio estava correto.

Surya · 13 de agosto de 2026 · 5 min de leitura · 9 práticas

Dados

Para Business Analysts e times de Operações investigando um batch que reporta SUCESSO mas está com dados faltando, BAs apoiando funções de reconciliação, qualidade de dados ou controle, QAs e desenvolvedores tentando isolar qual estágio do pipeline realmente perdeu registros e Qualquer um que já teve que explicar "o job está verde" para alguém segurando o número errado.

São 8h30. A Operação abre o relatório diário. Ontem: 48.216 registros. Hoje: 46.193 registros. Mais de 2.000 registros faltando. Alguém verifica o batch da madrugada. Status: SUCESSO. O desenvolvedor diz que o job terminou com sucesso. A Operação pergunta onde estão os dados. Os dois podem estar certos — um job bem-sucedido prova que o processo terminou. Não prova que o resultado de negócio estava correto. Imagine um banco processando as operações de ontem durante a madrugada: Origem da Operação → Extração → Transformação → Validação → Carga → Reconciliação → Relatório. O batch normalmente processa cerca de 50.000 operações. Hoje o agendador está verde — nenhuma falha técnica óbvia — mas o relatório está faltando 2.000 operações. Não comece olhando fixo para o relatório final. Siga o dado. A solução não é discutir se o batch "funcionou". É rastrear a contagem de registros por cada estágio até você encontrar o ponto de controle exato onde esperado para de bater com real. É isso que transforma "algum dado está faltando" em "2.000 registros esperados desapareceram entre Transformação e Validação" — um problema que alguém realmente consegue resolver.

01

Ponto de Controle 01

ORIGEM — O dado existia?

Antes de culpar o batch, verifique se a origem chegou a ter os registros faltantes.

Se a origem continha só 48.000 registros, o problema pode estar upstream, antes de o seu pipeline sequer tocar o dado. Se a origem tinha 50.000 mas só 48.000 foram extraídos, você já reduziu o problema para algo dentro do seu próprio processo.

Resumo

  • Quantos registros eram esperados?
  • Quantos estavam realmente disponíveis?
  • Todo sistema de origem entregou?
  • Alguma coisa chegou atrasada?
  • Registros estavam incompletos, duplicados ou malformados?
  • A janela de extração estava correta?

Por que isso ajuda

Contagens transformam "algum dado está faltando" em "2.000 registros esperados desapareceram entre Origem e Extração" — algo bem mais fácil de investigar.

02

Ponto de Controle 02

EXTRAÇÃO — Selecionamos tudo que deveríamos?

Um batch pode rodar com sucesso enquanto seleciona a população inteiramente errada.

A pergunta chave é: quais critérios de seleção foram realmente usados? Depois compare Esperado → Selecionado → Rejeitado.

Resumo

  • A query diz trade_date = ontem, mas algumas operações chegaram depois da meia-noite.
  • Um filtro exclui um status recém-introduzido.
  • A extração usa created_date enquanto o negócio espera trade_date.

Por que isso ajuda

Uma extração verde ainda pode estar incompleta — o job teve sucesso rodando a query errada.

03

Ponto de Controle 03

TRANSFORMAÇÃO — A lógica de negócio removeu registros?

É aqui que o dado é mapeado, enriquecido, unido, agregado, convertido, deduplicado e classificado — e onde registros saem da população em silêncio.

A lacuna de 1.800 registros

50.000 entraram na transformação.
48.200 saíram da transformação.

Resumo

  • Um join exige dados de referência que não existem para um produto novo.
  • Uma moeda não mapeada derruba registros.
  • A deduplicação remove operações válidas, não só as duplicadas.

Por que isso ajuda

Não pergunte só se a transformação teve sucesso. Pergunte qual regra fez esses registros específicos saírem da população esperada.

04

Ponto de Controle 04

VALIDAÇÃO — Alguma coisa falhou em silêncio?

A maioria dos pipelines valida antes de carregar — mas o que acontece quando um registro falha na validação importa tanto quanto a validação em si.

O batch inteiro para numa falha ou ele rejeita o registro e continua? Um job pode mostrar SUCESSO enquanto milhares de registros ficam parados numa tabela de rejeição, uma fila de erro, um arquivo de exceção ou uma dead-letter queue.

Resumo

  • Conta existe?
  • Campos obrigatórios preenchidos?
  • Moeda válida?
  • Status permitido?
  • Dado de referência disponível?

Por que isso ajuda

Não pergunte só se a validação rodou. Pergunte quantos registros passaram, falharam e foram pulados.

05

Ponto de Controle 05

CARGA — Tudo realmente chegou?

Registros passarem na validação não é o mesmo que registros chegarem ao destino.

O fluxo

EntradaInseridoAtualizadoRejeitadoConfirmado

Resumo

  • Falhas de restrição
  • Erros de chave duplicada
  • Problemas de permissão
  • Problemas de armazenamento
  • Rollbacks de transação
  • Cargas parciais

Por que isso ajuda

"Carga concluída" não basta sozinho — você precisa dos números em cada um desses cinco estados.

06

Ponto de Controle 06

RECONCILIAÇÃO — Encontre a primeira lacuna

Esse costuma ser o jeito mais rápido de localizar o problema e é frequentemente pulado em favor de adivinhação.

Pegue o batch noturno do banco: Origem 50.000, Extraído 50.000, Transformado 48.200, Validado 48.200, Carregado 48.200, Reportado 48.200. A primeira lacuna aparece durante a transformação — um novo tipo de instrumento foi introduzido ontem, a transformação junta toda operação a uma tabela de dados de referência, e esse novo tipo de instrumento não tem mapeamento de referência. O join derruba esses registros. O batch ainda completa. Tecnicamente SUCESSO. Resultado de negócio: 2.000 operações faltando.

Por que isso ajuda

Sem reconciliação, um time pode passar horas verificando o agendador, o banco de dados e o relatório. Com ela, a regra é simples: encontre o primeiro ponto de controle onde esperado ≠ real. É ali que a investigação geralmente deveria começar.

Dica — Agora você consegue explicar o incidente com precisão: instrumento novo → mapeamento de referência faltando → join derruba registros → população downstream incompleta. Isso é muito mais útil do que "problema no batch".

07

Ponto de Controle 07

CONSUMO — O dado está faltando ou só invisível?

Às vezes o dado chegou ao destino perfeitamente. O usuário simplesmente não consegue ver.

Resumo

  • Filtros do relatório estão errados
  • O cache do dashboard está desatualizado
  • Datas de relatório diferem das datas de processamento
  • Permissões escondem registros
  • A extração downstream não foi atualizada
  • O relatório lê uma tabela ou view diferente

Por que isso ajuda

"Dado faltando no pipeline" e "dado faltando no que o usuário vê" são problemas diferentes que precisam de correções diferentes.

08

Ponto de Controle 08

O que SUCESSO realmente significa?

Essa é a pergunta que costuma mudar a investigação inteira.

Comparação

SUCESSO técnico

Processo iniciou → nenhuma exceção fatal → processo terminou.

SUCESSO de negócio

Todos os registros esperados processados → exceções identificadas → totais reconciliados → dado downstream disponível.

Por que isso ajuda

O desenvolvedor e a Operação não estão discordando sobre fatos — eles estão usando definições diferentes da mesma palavra. Um dos trabalhos do BA é transformar sucesso técnico em sucesso de negócio mensurável. Se SUCESSO pode significar a primeira definição enquanto um resultado importante está errado, o próprio critério de sucesso está incompleto.

09

Ponto de Controle 09

Transforme o incidente num requisito melhor

Corrigir o problema é só metade do trabalho. Pergunte como isso vai ser detectado automaticamente amanhã.

Por exemplo: "Alertar a Operação se a contagem de registros carregados diferir da contagem extraída em mais de 0,5%."

Resumo

  • Reconciliação origem-versus-destino
  • Contagens de registros rejeitados
  • Totais de controle
  • Limiares de tolerância
  • Alertas de dado faltante
  • Monitoramento de exceções

Por que isso ajuda

Você não só ajudou a corrigir o problema de ontem. Você reduziu a chance de o problema de amanhã passar despercebido.

Use o checklist de fechamento antes de encerrar o incidente

Um status verde prova que o processo terminou.

Não prova que o resultado de negócio estava correto.

Da próxima vez que um batch reportar SUCESSO mas os números não baterem, não pare no agendador. Rastreie a contagem por Origem, Extração, Transformação, Validação, Carga, Reconciliação e Consumo e encontre o primeiro ponto de controle onde esperado para de bater com real. É aí que a investigação realmente começa — e reconciliar contagens em cada ponto de controle é como você garante que isso não vai acontecer de novo em silêncio.

Leve isso com você

Checklist de Investigação de Dados Faltantes / Batch

CHECKLIST DE INVESTIGAÇÃO DE DADOS FALTANTES / BATCH

Nome do batch / job:
Contagem esperada de registros:
Contagem real de registros:
Lacuna:

CONTAGENS POR PONTO DE CONTROLE
Origem:
Extração:
Transformação:
Validação:
Carga:
Relatório:

Primeiro ponto de controle onde esperado ≠ real:
Tipo de causa raiz (origem / seleção / transformação / validação / carga / consumo):

[ ] Causa raiz identificada e explicada
[ ] Contagens reconciliam em cada ponto de controle
[ ] Registros rejeitados ou pulados estão entendidos
[ ] Registros faltantes foram restaurados ou explicados
[ ] Saída downstream foi verificada
[ ] Controles de monitoramento ou reconciliação adicionados onde necessário
[ ] Stakeholders entendem o que aconteceu
[ ] O aprendizado está documentado

Receba novos guias em primeira mão.