스프링 배치 완벽가이드 2/e - 2장 스프링 배치

배치 아키텍처

---

애플리케이션 레이어

• 개발자가 개발한 코드를 나타냄
• 대부분 코어 레이어와 상호 작용 함

코어 레이어

• 배치 영역을 구성하는 실제적인 여러 컴포넌트로 이뤄짐

인프라스트럭처 레이어

• ItemReader, ItemWriter 제공
• 재시작과 관련된 문제를 해결할 수 있는 클래스와 인터페이스 제공

잡과 스텝

---

스텝

• 스텝은 스프링 배치에서 가장 일반적으로 상태를 보여주는 단위
• 각 스텝은 잡을 구성하는 독립된 작업의 단위
• 스텝은 Tasklet 기반 스텝과 Chunk 기반의 스텝이라는 두 가지 유형이 있음

스텝을 분리함으로써 얻는 기능

• 유연성
  • 재사용이 가능하게 구성할 수 있도록하는 여러 빌더 클래스를 제공함
• 유지 보수성
  • 각 스텝은 이전, 다음 스텝과 독립적이므로 다른 스텝에 영향을 미치지 않음
  • 단위 테스트, 디버그, 변경에 용이하며 재사용 가능
• 확장성
  • 하나의 스텝 내에서 처리할 일을 여러 스레드에 나눔으로써 해당 스텝의 코드를 병렬로 실행할 수 있음
• 신뢰성
  • 다양한 오류 처리 방법을 제공함
  • 예외 발생 시 재시도 또는 건너뛰기(skip) 등의 동작이 가능함

잡 실행

• 스프링 배치의 많은 컴포넌트가 잡의 실행에 서로 상호 작용함

Job Repository

• 다양한 배치 수행과 관련된 수치 데이터(시작 시간, 종료 시간, 상태, 읽기/쓰기 횟수 등) 및 잡의 상태를 유지 관리 함
• 일반적으로 관계형 데이터베이스를 사용하며 스프링 배치 내의 대부분의 주요 컴포넌트가 공유함

JobLauncher

• 잡을 실행하는 역할을 담당
• 잡의 재실행 가능여부 검증, 잡의 실행 방법, 파마리터 유효성 검증 등의 처리 수행

Job

• 잡은 구성된 스텝 목록에 따라 각 스텝을 실행함
• 스프링 배치는 JobRepository 내에 있는 JobExecution, StepExecution 에 상태를 갱신함

병렬화

---

잡을 병렬화하는 방법에는 다중 스레드 스텝을 통한 작업 분할, 전체 스텝의 병렬 실행, 비동기 ItemProcessor/ItemWriter 구성, 원격 청킹, 파티셔닝 이 있다.

다중 스레드 스텝

• 스프링 배치에서 잡은 청크(chunk)라는 블록 단위로 처리되도록 구성됨
• 각 청크는 독립적인 트랜잭션으로 처리 됨
• 각 청크는 연속해서 처리 후 커밋하며 이 과정을 모든 레코드가 처리될 때 까지 반복함
  • 10,000 개의 레코드가 있을 때, 1 → 50 처리 후 커밋, 51 → 100 처리 후 커밋 의 반복
• 스프링 배치를 사용하면 작업을 병렬로 실행해 성능을 향상 시킬 수 있음

• 세 개의 스레드를 사용하도록 구성하면, 위 그림과 같이 처리량을 이론적으로 3배 늘릴 수 있음

병렬 스텝

• 스텝 자체를 병렬로 실행하는 것

비동기 ItemProcessor/ItemWriter

• 스탭 내의 ItemProcessor 에서 복잡한 계산이나 원격 서비스 호출 등을 할 때에 병목현상이 발생 할 수 있음
• AsynchronousItemProcessor 는 ItemProcessor 호출 결과를 반환하는 대신, 각 호출에 대해 java.util.concurrent.Future 를 반환함
• 반환된 Future 목록은 AsyncronousItemWriter 로 전달된 후 실제 결과를 얻어내어 이름 ItemWriter 에 전달함

원격 청킹

• 처리의 일부분을 여러 JVM을 통해 수평으로 확장하는 방법임
• 입력은 마스터 노드에서 표준 ItemReader 를 사용해 이뤄짐
• 그 이후 지속 가능한 통신 형식(래빗 MQ 또는 액티브MQ 와 같은 메시지 브로커)을 통해 메시지 기반 POJO로 구성된 원격 워커 ItemProcessor 로 전송됨
• 마스터에서 데이터를 읽고 원격 워커에서 처리한 다음 다시 마스터에게 전송하는 구조임
• 네트워크 사용량이 매우 많아질 수 있음에 유의해야 함
• 실제 처리에 비해 I/O 비용이 적은 시나리오에 적합함

파티셔닝

로컬 파티셔닝

• 워커의 스레드 사용

원격 파티셔닝

• 마스터 및 원격 워커를 사용
• 마스터는 워커의 스텝 수집을 위한 컨트롤러 역할만 하게 됨
• 각 워커의 스텝은 독립적으로 동작하며 마치 로컬로 배포된 것처럼 동일하게 구성됨
• 모든 워커가 각각 맡은 일을 완료하면 마스터 스텝이 완료된 것으로 간주됨
• JobRepository가 복제된 작업이 없고 모든 작업이 완료됐음을 보장하기 때문에 내구성 있는 지속적인 통신이 필요 없음

이 포스팅은 스프링 배치 완벽가이드 2/e 의 내용을 요약 정리한 것 입니다.