카프카의 Offset과 Commit의 작동 원리를 알아보자 1. Kafka 2.x 버전에서의 Offset과 Commit 이해하기 1-1. 구조 설명 Broker: Kafka 클러스터 내의 브로커다(Kafka 인스턴스). 파티션을 관리한다. Partition: 메시지가 저장되는 파티션이다. Consumer에게 메시지를 전달한다. __consumer_offsets: Consumer가 처리한 마지막 메시지의 위치(offset)를 저장하는 특수한 토픽이다. Consumer Group: 하나 이상의 Consumer로 구성된 그룹이다. 각 Consumer는 파티션에서 메시지를 가져와 처리한다. 1-2. 동작 과정 Broker가 Partition을 관리: Broker는 여러 파티션을 관리하며, 각 파티션에 메시지를 ..