Kafka의 Replication과 Fault Tolerance는 데이터의 안정성과 가용성을 보장하는 중요한 요소이다. 이러한 개념들은 Kafka 클러스터가 장애 상황에서도 데이터 손실 없이 정상적으로 작동할 수 있게 해준다. 1. ISR (In-Sync Replicas) 1-1. 정의: ISR은 Leader Partition에 복제될 수 있는 Follower Partition의 집합이다. 즉, ISR은 현재 Leader와 동기화되고 있는 Follower Partition들을 의미한다. 1-2. 동작 방식: Leader Partition이 새로운 메시지를 받으면, ISR 내의 Follower Partition들도 이 메시지를 복제한다. 모든 Follower가 메시지를 복제하면, 해당 메시지는 'Commi..

카프카의 Offset과 Commit의 작동 원리를 알아보자 1. Kafka 2.x 버전에서의 Offset과 Commit 이해하기 1-1. 구조 설명 Broker: Kafka 클러스터 내의 브로커다(Kafka 인스턴스). 파티션을 관리한다. Partition: 메시지가 저장되는 파티션이다. Consumer에게 메시지를 전달한다. __consumer_offsets: Consumer가 처리한 마지막 메시지의 위치(offset)를 저장하는 특수한 토픽이다. Consumer Group: 하나 이상의 Consumer로 구성된 그룹이다. 각 Consumer는 파티션에서 메시지를 가져와 처리한다. 1-2. 동작 과정 Broker가 Partition을 관리: Broker는 여러 파티션을 관리하며, 각 파티션에 메시지를 ..