[kafka] Spring실행 시 consumer 연결문제 해결

 

 

 

SpringBoot 설정을 잘못해서 kafka 연결이 안 되는 문제를 해결했다.

📌 서론

이번 포스트는 SpringBoot의 application.yml에 kafka 설정을 잘못해서 오류가 발생한 부분을 수정한 내용이다.

발생했던 오류는 스프링 서버를 실행했을 때 consumer의 연결이 불가능했던 문제다.

 

1. SpringBoot에 KafkaListener 코드를 작성하자

kafka를 실행했는데 에러가 발생했다.

• 이건 연결 에러인데 로그만 봐도 Consumer관련 오류인 것을 알 수 있다.

[Consumer clientId=consumer-error-handler-group-1, groupId=error-handler-group] 
Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected

kafka 오류 분석

application.yml 세팅을 확인해 보자

• 오류코드를 보고 바로 consumer 쪽에 문제가 생겼다고 판단했고 yml에 작성한 내용을 확인했다.

spring:
    kafka:  
      producer:    
        bootstrap-servers: localhost:10000,localhost:10001,localhost:10002 # 카프카 서버 주소  
        key-serializer: org.apache.kafka.common.serialization.StringSerializer  
        value-serializer: org.apache.kafka.common.serialization.StringSerializer  
      consumer:  
        group-id: error-handler-group  
        auto-offset-reset: earliest  
      template:  
        default-topic: error-messages

여기서 빼먹은 부분이 있는데 producer, consumer 모두 bootstrap-servers를 설정해줘야 한다는 것이다.

• producer에만 설정을 해줘서 서버를 실행했을 때 consumer가 연결하지 못해서 계속 연결 관련 에러 로그를 보여줬던 것이었다. 아래와 같이 수정하면 된다.

kafka:  
  bootstrap-servers: localhost:10000,localhost:10001,localhost:10002 # 카프카 서버 주소  
  producer:  
    key-serializer: org.apache.kafka.common.serialization.StringSerializer  
    value-serializer: org.apache.kafka.common.serialization.StringSerializer  
  consumer:  
    group-id: error-handler-group  
    auto-offset-reset: earliest  
  template:  
    default-topic: error-messages

application.yml을 수정하고 다시 서버를 실행하니 kafka 연결에 성공하는 것을 볼 수 있다.

카프카 연결 성공

 

사이드 팀원 "평양냉면"님의 블로그도 들려주세요! 좋은 글이 많습니다.

하다보니 재미있는 개발