blog.

Apache Kafka에서 소비자 그룹(Consumer Group)이란?소비자 그룹은 Kafka 소비자들이 함께 작업하여 토픽의 이벤트를 병렬 처리할 수 있도록 해줍니다.소비자 그룹 내의 소비자들은 토픽 또는 토픽 세트의 파티션을 나누어 할당받아 이벤트 처리를 병렬화할 수 있습니다.소비자는 자신을 소비자 그룹 이름으로 식별합니다토픽에 게시된 각 메시지는 구독 중인 각 소비자 그룹의 소비자 인스턴스 중 하나에 전달됩니다.소비자 인스턴스는 서로 다른 프로세스에서 실행되거나 다른 머신에 분산될 수 있습니다.모든 소비자 인스턴스가 동일한 소비자 그룹에 속할 경우이는 전통적인 큐(queue)처럼 동작하며, 소비자들 간에 부하를 균등하게 분산합니다.모든 소비자 인스턴스가 서로 다른 소비자 그룹에 속할 경우이는 발행..

log는 head와 tail을 가지고 있다. compacted log의 head는 전통적인 카프카 로그와 같다. 새로운 레코드들이 head의 끝에 append 된다. 모든 log compaction은 log의 tail에서 작동한다. 오직 tail만이 compact된다.  Kafka 로그 압축(Log Compaction)은 소비자가 압축된 토픽(compacted topic)에서 자신의 상태를 복구할 수 있도록 도와줍니다. 이 과정에서 메시지의 순서는 절대로 변경되지 않으며, 일부 메시지들은 삭제됩니다. 또한, 메시지의 파티션 오프셋(partition offset)은 절대로 변경되지 않습니다.로그 구조Kafka 로그는 헤드(head)와 꼬리(tail)로 구성됩니다.헤드 (Head)새로운 메시지는 항상 헤드 ..

메시지 코디네이트(Message Coordinate)란?메시지 코디네이트는 Kafka와 같은 분산 메시징 시스템에서 메시지의 위치와 흐름을 조정 및 관리하는 작업을 의미합니다. 이를 통해 메시지가 올바른 파티션에 분배되고, 처리 순서와 일관성이 유지되며, 효율적인 데이터 처리가 가능해집니다.  이 예에서는 프로듀서가 데이터를 파티션이 두 개인 토픽으로 전송합니다.키(key)가 null인 경우:데이터는 라운드 로빈(round-robin) 방식으로 파티션에 전송됩니다.이는 부하를 균등하게 분산(load balancing)하기 위한 방법입니다.여기서 null 키는 프로듀서 메시지에 키가 없는 경우를 나타냅니다.키(key)가 존재하는 경우:키가 값을 가지며, 이 값은 다양한 유형일 수 있습니다.Kafka 프로듀..

3.1 카프카 프로젝트 설계 3.1.1 기존 데이터 아키텍쳐 인수- 새로운 가상의 컨설팅 회사는 원격으로 전기 자전거를 관리하는 공장을 재설계하는 계약을 막 따냈다. - 센서는 모니터링하는 내부 장비 상태와 이 상태 이벤트를 지속적으로 제공하는 자전거 전체에 설치된다. - 하지만 현재 시스템은 대부분의 메시지를 무시해야 할 정도로 많은 이벤트가 생성되고 있다.- 현재 데이터는 대용량 클러스터 형태로 구성된 전통저인 관계형 데이터베이스 시스템에 있다.   3.1.2 첫 변경 - 가장 쉬운 방법은 카프카 커넥트로 시작하는 것 3.1.3 내장 기능- 카프카 커넥트의 용도는 자체 프로듀서와 컨슈머를 작성하지 않고 카프카 안팎으로의 데이터 이동을 돕는 것이다.- 커넥트가 전형적인 애플리케이션 로그 파일을 가져와 ..

Kafka Connect High-Level Overview  1 Kafka Connector Source (클러스터에서 실행됨)는 외부 소스에서 데이터를 가져옵니다.2 Kafka Connector Source는 수집된 데이터를 Kafka 클러스터로 전송합니다 (이 단계에서 프로듀서 역할을 수행).3a. Kafka 클라이언트 애플리케이션(소비자로 작동)이 Kafka 클러스터에서 데이터를 읽습니다.3b. Kafka 클라이언트 애플리케이션(이제 프로듀서로 작동)이 처리된 데이터를 Kafka 클러스터로 다시 보냅니다.4 Kafka Connector Sink (클러스터에서 실행됨)는 Kafka 클러스터에서 데이터를 읽습니다 (이 단계에서 소비자 역할을 수행).5 Kafka Connector Sink는 읽은 데이..

머니레터 25'01'02 https://n.news.naver.com/mnews/article/023/0003879873 택배왕좌 뺏긴 대한통운 “5일부터 주 7일 배송”‘쿠팡 질주’에 물류 대전 격화 CJ대한통운이 5일부터 택배를 쉬는 날 없이 주 7일 배송하는 ‘매일 오네’ 서비스를 시작한다. CJ대한통운이 1993년 택배 서비스를 시작한 지 32년 만에 365일 배송n.news.naver.comCJ대한통운, 365일 '매일 오네' 서비스 도입CJ대한통운이 32년 만에 주 7일 배송 서비스를 시작하며 이커머스와 물류 업계의 경쟁이 격화되고 있습니다. 주요 내용은 다음과 같습니다:✔️ 365일 배송 도입 배경이커머스 시장의 급성장과 쿠팡의 로켓배송 확대에 대응하기 위해 CJ대한통운이 주말과 공휴일 없이..

머니레터 25'01'12https://n.news.naver.com/mnews/article/008/0005134470?sid=101 '좀비퇴출' 상폐 제도개선, 내년으로…숙제로 남은 자본시장 정책들재무상태가 부실한 이른바 '좀비기업' 퇴출과 관련, 정부가 연초 약속했던 상장폐지 제도개선 방안을 올해 안에 마무리 짓지 못할 것으로 보인다. 국민의 자산증식을 돕기 위한 ISA(개인종합자산n.news.naver.com✔️ 좀비기업 퇴출을 위한 상장폐지 제도개선 지연정부가 추진 중인 상장폐지 제도개선이 올해 안에 완료되지 못하고 내년으로 연기되었습니다. 한계기업(이자보상배율 3년 연속 1 미만)을 신속히 솎아내기 위한 상장폐지 심사기간 단축, 실적요건 강화, 거래소 개편 등이 주요 내용입니다. 그러나 다양한 ..