Kafka(카프카)란 무엇인가

 

 

 

주니어 백엔드 개발자의 Apache Kafka 이해하기

📌 서론: Kafka는 왜 만들어졌을까?

LinkedIn은 빠르게 성장하는 플랫폼으로, 수백만 명의 사용자와 수십억 개의 이벤트를 실시간으로 처리해야 했다. 그러나 당시 사용하고 있던 메시징 시스템은 이런 대규모 데이터와 실시간 분석 요구사항을 충족시키지 못했다. 이러한 문제를 해결하기 위해, LinkedIn은 새로운 데이터 스트리밍 플랫폼이 필요했다. 그 결과, 높은 처리량, 낮은 지연 시간, 그리고 높은 가용성을 목표로 Kafka가 개발되었다. Kafka의 도입으로 LinkedIn은 기존에 겪던 데이터 처리와 실시간 분석의 문제를 성공적으로 해결할 수 있었다. 이렇게 Kafka는 LinkedIn의 특정 문제를 해결하기 위해 탄생했고, 그 후로도 그 특성과 능력으로 많은 기업과 개발자에게 널리 사용되고 있다.

 

1. Apache Kafka: LinkedIn에서 시작된 혁신적인 메시지 시스템

📌 Apache Software Foundation

Apache Software Foundation (ASF)은 오픈 소스 소프트웨어 개발을 촉진하고 지원하는 비영리 재단이다. 1999년에 설립된 이 재단은 전 세계의 개발자들이 참여하는 커뮤니티 기반 조직으로, 다양한 오픈 소스 프로젝트와 이니셔티브를 지원하고 있다. 지금부터 설명할 Apache Kafka는 LinkedIn에서 개발되어, 그 잠재력을 널리 공유하기 위해 Apache Software Foundation에 기부되다. 그 이유는 여러 가지가 있는데, 주요한 몇 가지를 살펴보자

 

커뮤니티 참여의 증대

Apache Software Foundation은 방대한 오픈 소스 커뮤니티를 보유하고 있다. Kafka를 Apache에 기부함으로써, 더 많은 개발자들이 프로젝트에 참여하고, 그 결과로 더 나은 기능과 개선사항들이 지속적으로 추가될 수 있게 되었다.

 

표준화 및 품질 향상

Apache 재단에서 관리되는 프로젝트들은 일정한 품질과 표준을 유지하게 된다. Kafka도 이런 환경 속에서 안정성과 품질이 크게 향상되었다.

 

넓은 범위의 사용 가능성

Apache 라이선스 하에 배포되기 때문에, 많은 기업들이 Kafka를 비교적 자유롭게 사용할 수 있게 되었다. 이는 Kafka의 확산과 적용 범위를 크게 넓혔다.

 

지속 가능한 발전

Apache 재단의 지원과 커뮤니티의 활발한 참여로 인해, Kafka는 지속적으로 발전하고 있다. 이는 기술의 지속적인 진화와 혁신을 보장해 준다.

 

2. Kafka의 주요 특징

분산 아키텍처

Kafka는 데이터를 여러 노드에 분산 저장한다. 이를 통해 하나의 노드에 문제가 발생해도 전체 시스템에 큰 영향을 미치지 않는다. 예를 들어, 금융 시스템에서 한 서버가 다운되더라도, 다른 서버가 트랜잭션을 계속 처리할 수 있다.

 

높은 처리량

Kafka는 초당 수백만 개의 이벤트를 처리할 수 있어서, 대규모 데이터 스트림을 신속하게 처리할 수 있다. 예를 들어, 실시간 광고 플랫폼에서 Kafka를 사용하면 수백만 명의 사용자가 클릭하는 광고 이벤트를 실시간으로 분석할 수 있다.

 

실시간 처리

Kafka는 데이터를 실시간으로 처리할 수 있어서, 즉각적인 의사 결정과 분석이 가능하다. 예를 들어, 자동차 공유 서비스에서 Kafka를 사용하면 차량의 위치와 상태를 실시간으로 모니터링하고, 가장 효율적인 경로를 계산할 수 있다.

 

3. Apache Kafka: 왜 사용되고 어떻게 활용되는가?

이벤트 기반 아키텍처 (EDA)

비동기성

Kafka는 서비스 간의 독립적인 동작을 가능하게 해 준다. 예를 들어, 은행 시스템에서 계좌 이체 서비스에 문제가 생기더라도, Kafka를 사용함으로써 다른 서비스들은 계속해서 정상적으로 작동할 수 있다. 이는 전체 시스템의 안정성을 크게 향상시킨다.

 

탄력성

이벤트 소싱을 통해 Kafka는 시스템의 상태를 쉽게 재구성할 수 있게 해준다. 예를 들면, 온라인 게임에서 플레이어의 게임 진행 상태를 Kafka를 통해 이벤트로 저장하고, 서버에 장애가 발생한 경우에도 이를 통해 쉽게 상태를 복구할 수 있다.

 

📌 TIP! Kafka의 비동기성 이해하기

Kafka는 생산자(Producer)와 소비자(Consumer) 사이의 메시지 전달에서 비동기식 처리를 지원한다. 이는 생산자가 메시지를 보낼 때 소비자가 온라인 상태일 필요가 없다는 것을 의미한다. 메시지는 Kafka 시스템에 저장되고, 소비자가 준비될 때까지 기다린다. 이 방식은 시스템 간의 의존성을 줄이고, 전체적인 처리 효율을 높여준다.

 

마이크로서비스 아키텍처 (MSA)와 Kafka

데이터 분리

마이크로서비스 아키텍처에서 각 서비스는 독립적인 데이터를 관리한다. Kafka는 이러한 서비스 간 데이터를 안정적으로 전달하는 메시지 큐 역할을 한다. 예를 들어, 쇼핑몰의 주문 관리 서비스에서 주문 정보를 Kafka를 통해 재고 관리 서비스에 전달할 수 있다.

 

이벤트 전파

Kafka는 이벤트 기반의 커뮤니케이션을 지원한다. 이는 서비스 간 데이터를 효율적으로 동기화하고 상태를 공유하는 데 매우 유용하다. 예를 들어, 쇼핑몰에서 상품이 팔리면, 주문 관리 서비스가 Kafka에 이 정보를 게시하고, 재고 관리 서비스는 이를 구독해 실시간으로 재고를 업데이트할 수 있다.

 

📌 분산 시스템에서의 Kafka의 역할

마이크로서비스 아키텍처에서 Kafka는 각 서비스 간의 메시지를 효과적으로 관리하는 중심점 역할을 한다. 서비스들은 Kafka를 통해 데이터를 주고받으며, 이는 각 서비스가 독립적으로 확장되고 유지될 수 있게 하는 데 기여한다. 또한, Kafka는 시스템 전체의 복잡성을 줄이는 데도 도움을 준다.

 

대용량 데이터 처리

스트림 처리

Kafka는 실시간으로 대량의 데이터를 처리하고 분석할 수 있는 능력을 가지고 있다. 예를 들어, SNS 플랫폼에서 발생하는 수많은 트윗을 실시간으로 분석하여 현재 트렌드나 인기 있는 키워드를 파악할 수 있다.

 

분산 처리

Kafka는 여러 브로커와 파티션을 통해 높은 병렬성과 처리량을 달성한다. 이를 통해, 뉴스 웹사이트와 같이 많은 사용자가 동시에 사용하는 시스템에서도 안정적으로 대량의 데이터를 처리할 수 있다.

 

4. 어떤 경우에 Kafka를 사용하는가?

실시간 분석

사용자 행동 분석 - 웹사이트나 앱에서 사용자의 행동을 실시간으로 분석한다. 예를 들어, 스트리밍 서비스에서는 사용자의 시청 기록을 분석하여 개인화된 추천 콘텐츠를 제공한다. 이런 분석은 사용자 경험을 개선하고, 서비스의 품질을 높이는 데 중요하다.

 

이벤트 소싱: 재고 관리

상점이나 온라인 마켓플레이스에서 실시간으로 상품 재고 상태를 추적한다. 실시간 재고 관리 시스템은 상품 부족 시 자동으로 재고를 보충하고, 재고 관리의 효율성을 높여준다.

 

데이터 레이크: 다양한 소스의 데이터 통합

웹사이트, 모바일 앱, IoT 디바이스 등 다양한 출처에서 발생하는 데이터를 중앙 저장소에 모아 분석한다. 예를 들어, 의료 분야에서는 다양한 장비와 시스템에서 발생하는 환자 데이터를 하나의 데이터 레이크에 모아 복잡한 분석을 수행할 수 있다.

 

스트림 처리: 로그 분석 및 모니터링

서버 로그를 실시간으로 분석하여 시스템의 성능을 모니터링하고, 문제가 발생했을 때 즉시 대응할 수 있다. 특히 금융 기관에서는 이를 통해 부정행위나 시스템 오류를 신속하게 탐지한다.

 

마이크로서비스 아키텍처: 서비스 간 통신

마이크로서비스 아키텍처에서 서로 다른 서비스 간에 비동기적으로 데이터를 주고받는 데 Kafka를 사용한다. 예를 들어, 음식 배달 앱에서는 주문 처리, 결제, 배달 추적 등 다양한 서비스가 Kafka를 통해 효율적으로 통신한다.

 

 

카프카의 기본 구조를 알아보자👇🏻👇🏻

Kafka(카프카)의 기본 구조 이해하기 (클러스터, 브로커, 토픽, 파티션, 세그먼트)