운영 backfill batch 크기는 어떻게 정해야 할까?

무엇을 해결하나

대량 데이터 보정을 처리량만 높이지 않고 DB latency, lock, WAL, replication lag, 재개 가능성을 기준으로 조절할 때 사용합니다.

준비할 정보

• 실제 적용할 환경과 대상 범위를 먼저 적습니다.
• 현재 상태와 기대 결과를 숫자나 예시로 준비합니다.
• 운영 데이터, 개인정보, secret은 제거하거나 안전한 placeholder로 바꿉니다.
• 변경 작업이라면 승인자, backup, rollback 가능 여부를 확인합니다.

복사해서 쓰는 프롬프트

backfill 실행 계획을 검토해줘.
DB·테이블 크기: {{DB_SIZE}}
대상 조건·예상 행: {{TARGET_ROWS}}
PK·index: {{INDEXES}}
트래픽·SLO: {{TRAFFIC_SLO}}
replication·maintenance window: {{OPERATIONS}}

초기 batch와 pause, checkpoint, rate limit, 중단·재개, 검증 query를 제안해줘.

실행 순서

1. placeholder를 실제 환경 정보로 바꾸되 secret 값은 입력하지 않습니다.
2. 먼저 조회와 미리보기로 대상 범위, 권한, 현재 상태를 확인합니다.
3. 결과가 예상과 맞을 때만 가장 작은 단위로 실행하거나 초안을 생성합니다.
4. 변경 전후의 수치와 화면을 같은 조건에서 비교해 기록합니다.
5. 이상이 있으면 작업을 넓히지 말고 중단 조건과 rollback 절차를 따릅니다.

결과 확인

dev에서 작은 batch로 행당 비용을 측정하고 운영에서는 latency와 replica lag 임계치를 넘으면 자동 중단합니다. 처리 PK 범위와 누적 행 수를 durable하게 기록합니다.

검수 결과에는 확인한 사실, 아직 확인하지 못한 가정, 다음 행동을 분리해서 남깁니다. 다른 사람이 같은 입력으로 재현할 수 있도록 환경과 확인 시각도 함께 기록하면 좋습니다.

주의사항

OFFSET 기반으로 큰 테이블을 끝까지 훑거나 한 번에 commit하지 않습니다. 실행 시간을 맞추려고 모니터링 없이 batch를 키우지 않습니다.

AI가 만든 설명과 명령은 초안입니다. 실제 제품 버전과 조직 정책, 공식 문서를 대조하고 영향이 있는 작업은 dev나 격리 환경에서 먼저 검증하세요.

판단 기준

이 질문에는 모든 상황에 맞는 한 가지 답이 없습니다. 독자의 목적, 운영 위험, 팀의 검수 역량, 변경을 되돌릴 수 있는지를 기준으로 선택합니다. 먼저 작은 범위에서 두 선택지를 비교하고 결과를 기록한 뒤 적용 범위를 넓히세요.