SpringBoot 설정을 잘못해서 kafka 연결이 안 되는 문제를 해결했다. 📌 서론 이번 포스트는 SpringBoot의 application.yml에 kafka 설정을 잘못해서 오류가 발생한 부분을 수정한 내용이다. 발생했던 오류는 스프링 서버를 실행했을 때 consumer의 연결이 불가능했던 문제다. 1. SpringBoot에 KafkaListener 코드를 작성하자 kafka를 실행했는데 에러가 발생했다. 이건 연결 에러인데 로그만 봐도 Consumer관련 오류인 것을 알 수 있다. [Consumer clientId=consumer-error-handler-group-1, groupId=error-handler-group] Bootstrap broker localhost:9092 (id: -1 ..

Kafka(카프카) Producer와 Consumer의 동작 원리와 고가용성을 이해해 보자 📌 서론 Kafka의 핵심은 데이터를 효율적으로 처리하고 전달하는 Producer와 Consumer의 상호 작용에 있다. 이번 포스트에서는 Kafka의 Producer와 Consumer가 어떻게 작동하며, 그들이 어떻게 Kafka 시스템 내에서 서로 상호작용하는지를 알아보자. 특히, 각각의 역할, 데이터 흐름, 그리고 고가용성 및 대규모 데이터 처리에 어떤 방식으로 기여하는지를 중점적으로 다룰것이다. 1. Kafka의 Producer란? Producer 이해하기 Kafka의 Producer는 데이터를 Kafka 클러스터로 전송하는 역할을 하는 클라이언트 애플리케이션이다. 이들은 Kafka 토픽의 특정 파티션으로 메..