반응형

Kafka 3

[kafka] Kafka Connect High-Level Overview + Cluster and Distributed Architecture

Kafka Connect High-Level Overview  1 Kafka Connector Source (클러스터에서 실행됨)는 외부 소스에서 데이터를 가져옵니다.2 Kafka Connector Source는 수집된 데이터를 Kafka 클러스터로 전송합니다 (이 단계에서 프로듀서 역할을 수행).3a. Kafka 클라이언트 애플리케이션(소비자로 작동)이 Kafka 클러스터에서 데이터를 읽습니다.3b. Kafka 클라이언트 애플리케이션(이제 프로듀서로 작동)이 처리된 데이터를 Kafka 클러스터로 다시 보냅니다.4 Kafka Connector Sink (클러스터에서 실행됨)는 Kafka 클러스터에서 데이터를 읽습니다 (이 단계에서 소비자 역할을 수행).5 Kafka Connector Sink는 읽은 데이..

개발/kafka 2025.01.03

[kafka] 토픽 생성 및 리스트 확인 + producer, consumer 메시지 전달 (mac m1)

1. kinaction_helloworld 토픽 만들기bin/kafka-topics.sh --create --bootstrap-server localhost:9094 --topic kinaction_helloword --partitions 3 --replication-factor 3   2. 토픽 확인하기 bin/kafka-topics.sh --list --bootstrap-server localhost:9094  3. 토픽 세부 정보 조회 bin/kafka-topics.sh --bootstrap-server localhost:9094 --describe --topic kinaction_helloword   4. kafka 프로듀서 콘솔 명령bin/kafka-console-producer.sh --boo..

개발/kafka 2024.12.14

[kafka] kafka, zookeeper, server 시작하기 (mac m1)

1. kafka 파일 다운로드 https://kafka.apache.org/quickstart Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org  2. 카프카 바이너리 압축 풀기tar -xzf kafka_2.13-3.9.0.tgzmv kafka_2.13-3.9.0 ~/cd ~/kafka_2.13-3.9.0export PATH=$PATH:~/kafka_2.13-3.9.0/bin  3. 주키퍼 서버 시작하기 cd ~/kafka_2.13-3.9.0bin/zookeeper-server-start.sh config/zookeeper.properties 4. 수동으로 클러스터 생성 및 구성cd ~/kafka_2.13-3.9.0cp..

개발/kafka 2024.12.14
반응형