Batch Notifier"를 사용합니다.<aside> 💡 왜 Batch라고 부를까요?
데이터의 원천에서 데이터가 생성되어 처리 파이프라인으로 전송되는 데이터 그룹을 Batch로 부릅니다. 예를 들어, 로그 파일에서 수집된 다수의 로그 데이터들이 그룹화되어 하나의 event로 sources에 전송됩니다. </aside>
Batch Notifier는 글자 그대로 데이터 배치의 처리 상태를 추적하는 메커니즘입니다.
Batch Notifier 최초 생성 시 두 부분으로 나뉘어 하나는 데이터 소스(sources)에 남아 있고, 다른 하나는 데이터 배치(event)가 처리될 때까지 함께 목적지(sinks)로 이동합니다.
데이터 배치(event)가 목적지(sinks)에 도달하여 처리되면, Batch Notifier의 상태를 업데이트 합니다. 이 때 업데이트는 event 결과에 상관없이 항상 업데이트를 진행합니다. 이를 통해 전반적인 프로세스에 대한 처리 결과를 사용자가 확인할 수 있습니다.
데이터 소스(sources)에 남아있는 Batch Notifier가 업데이트 될 때 특정 event 발생지(HTTP Response/AWS SQS/Kafka 등)로 처리 결과를 전송할 수 있습니다.