반응형

2025/01/04 3

[kafka] log compaction | log tail | log head

log는 head와 tail을 가지고 있다. compacted log의 head는 전통적인 카프카 로그와 같다. 새로운 레코드들이 head의 끝에 append 된다. 모든 log compaction은 log의 tail에서 작동한다. 오직 tail만이 compact된다.  Kafka 로그 압축(Log Compaction)은 소비자가 압축된 토픽(compacted topic)에서 자신의 상태를 복구할 수 있도록 도와줍니다. 이 과정에서 메시지의 순서는 절대로 변경되지 않으며, 일부 메시지들은 삭제됩니다. 또한, 메시지의 파티션 오프셋(partition offset)은 절대로 변경되지 않습니다.로그 구조Kafka 로그는 헤드(head)와 꼬리(tail)로 구성됩니다.헤드 (Head)새로운 메시지는 항상 헤드 ..

개발/kafka 2025.01.04

[kafka] producer message key = 메시지 코디네이트(Message Coordinate)

메시지 코디네이트(Message Coordinate)란?메시지 코디네이트는 Kafka와 같은 분산 메시징 시스템에서 메시지의 위치와 흐름을 조정 및 관리하는 작업을 의미합니다. 이를 통해 메시지가 올바른 파티션에 분배되고, 처리 순서와 일관성이 유지되며, 효율적인 데이터 처리가 가능해집니다.  이 예에서는 프로듀서가 데이터를 파티션이 두 개인 토픽으로 전송합니다.키(key)가 null인 경우:데이터는 라운드 로빈(round-robin) 방식으로 파티션에 전송됩니다.이는 부하를 균등하게 분산(load balancing)하기 위한 방법입니다.여기서 null 키는 프로듀서 메시지에 키가 없는 경우를 나타냅니다.키(key)가 존재하는 경우:키가 값을 가지며, 이 값은 다양한 유형일 수 있습니다.Kafka 프로듀..

개발/kafka 2025.01.04

[카프카인액션] 3장. 카프카 커넥트 | 카프카 소스 커넥터 | 카프카 소스 + 싱크 커넥터 | 카프카 설계시 고려요소 | 카프카 Apache avro

3.1 카프카 프로젝트 설계 3.1.1 기존 데이터 아키텍쳐 인수- 새로운 가상의 컨설팅 회사는 원격으로 전기 자전거를 관리하는 공장을 재설계하는 계약을 막 따냈다. - 센서는 모니터링하는 내부 장비 상태와 이 상태 이벤트를 지속적으로 제공하는 자전거 전체에 설치된다. - 하지만 현재 시스템은 대부분의 메시지를 무시해야 할 정도로 많은 이벤트가 생성되고 있다.- 현재 데이터는 대용량 클러스터 형태로 구성된 전통저인 관계형 데이터베이스 시스템에 있다.   3.1.2 첫 변경 - 가장 쉬운 방법은 카프카 커넥트로 시작하는 것 3.1.3 내장 기능- 카프카 커넥트의 용도는 자체 프로듀서와 컨슈머를 작성하지 않고 카프카 안팎으로의 데이터 이동을 돕는 것이다.- 커넥트가 전형적인 애플리케이션 로그 파일을 가져와 ..

반응형