goodbye

프로듀서의 기본 흐름카프카 프류듀서 어플리케이션은 카프카에 필요한 데이터를 선언하고 브로커의 특정 토픽의 파티션에 전송합니다. 프로듀서는 데이터를 전송할 때 리더 파티션을 가지고 있는 카프카 브로커와 직접 통신합니다. 프로듀서는 카프카 브로커로 데이터를 전송할 때 내부적으로 파티셔너 배치 생성 단계를 거칩니다. 프로듀서 내부 구조는 아래와 같은 구조를 가지고 있습니다. ProducerRecord 는 프로듀서에서 생성하는 레코들 오프셋을 포함하지 않습니다. send() 메서드를 통해 레코드를 전송 요청하게 되면 Partitioner 가 어느 파티션으로 전송할지 지정합니다 (기본값으로 DefaultParitioner 설정) 그리고 Accumulator 가 높은 데이터 처리량을 위해 전송 할 데이터를 배치로 ..

폴더 구조카프카 공식 사이트 에서 Binary 파일을 다운로드하고 압축해제하면 아래와 같은 구조를 확인 할수 있습니다.zookeeper 와 kafka binary 파일이 모두 포함되어 있으며 모두 JVM 환경에서 실행되기때문에 사전에 Java 8 이상이 설치되어 있어야 합니다. bin 디렉토리는 CLI Script 파일들이 모여있는곳으로 주키퍼, 카프카를 시작하거나 카프카 토픽을 생성하는등의 스크립트 명령어를 실행할 수 있는 파일들이 모여 있습니다. config 디렉토리는 환경설정 파일들이 모여 있는곳으로 local 에서 카프카를 테스트하려는 경우 아래와 같이 설정 변경이 필요합니다 server.properties custom 변경 (kakka broker 실행 할 때 필요한 설정 파일, 네트워크설정)#..