반응형

2025/01/19 2

[카프카인액션] 5.3 ~ 5.6. consumer | enable.auto.commit | partition.assignment.strategy

5.3 추적다른 시스템에서 일부 메시지 브로커가 메시지를 처리하는 방법 1) 일부 시스템에서는 컨슈머가 읽은 내용을 기록하지 않는다.메시지를 가져온 다음 수신확인한 후에 그 메시지는 대기열에서 사라진다. 하나의 애플리케이션이(컨슈머) 하는 단일 메시지에 적합 2) 구독자인 모든 사람에게 메시지를 게시한다. 미래의 구독자는 이벤트 발생했을때 수신자 목록에 없기 때문에 놓친다.    5.3.1 그룹 코디네이터 토픽에서 다음 메시지를 읽을 위치 결정하기 위해 오프셋 커밋을 좌표로 사용한다. 예를 들어, 파티션0이 할당된 컨슈머는 다음 오프셋 3을 읽을 준비가 된다.  동일한 파티션 집합이 3개의 각기 다른 브로커에 존재하며, kinaction_teamoffka0과 kinaction_teamsetka1이라는 2..

[카프카인액션] 5.1 ~ 5.2. consumer란 | consumer option | consumer 코디네이트 | consumer group.id

개요 컨슈머 클라이언트는 관심 있는 토픽을 구독하는 프로그램으로, 카프카에서 데이터를 가져와 다른 시스템이나 애플리케이션에 이 데이터를 제공하는 기능을 담당한다. 브로커 외부에 존재하는 클라이언트이므로 프로듀서 클라이언트와 마찬가지로 다양한 프로그래밍 언어로 작성 가능하다.프로듀서 클라이언트와 마찬가지로 실제 컨슈머 프로세스는 별도의 시스템에서 실행할 수 있으며, 특별한 서버에서 실행할 필요는 없다. 실제 프로덕션 환경에서 대부분의 컨슈머 클라이언트는 별도의 호스트에 있다.   5.1 예제 컨슈머가 데이터가 푸쉬(push)하지 않고 토픽을 구독(pull) 하는 것을 안다는 것이 중요하다.처리 제어의 권한은 컨슈머에 있는 것이다. 토픽에서 데이터를 읽고 애플리케이션에서 사용할 수 있도록 하거나 다른 시스템..

반응형