개요

• 암호화폐 거래소의 현재가 (Ticker) 데이터를 실시간으로 Kafka 에 Produce 해야 하는 상황
  • 감시 종목은 479개 (2025년 5월 18일, Upbit 전 종목 기준)
• Go vs Python 비교를 통해 성능차이가 얼마나 나는지 검증
• 언어를 선택할 때 고려해야 할 것이 무엇이 있는지 인사이트를 얻기 위함

결론

CPU 집약적인 작업 + 초고부하 작업이 아니라면 Go, Python 어떤 것을 쓰던지 성능은 크게 차이가 나지 않는다.

테스트 시나리오

Go Topic = upbit-krw-ticker-go, Python Topic = upbit-krw-ticker-py. PARTITION=3

• 업비트의 470개 종목을 받아온다
  • 웹 소켓 하나당 종목 20개를 구독한다.
  • 총 24개의 소켓 연결이 맺어진다.
• 받아온 정보는 JSON 형태로 Kafka에 Produce 한다.
  • 데이터 형태는 아래와 같으며 용량은 평균 950bytes ~ 1050bytes 수준이다
• 테스트는 언어당 약 3분을 돌렸다.
  • 설정은 아래와 같다.(docker-compose.yml 참고)
• Repository — https://github.com/hanmac-study/comparison-performance-python-go-with-kafka

Python vs Go 성능 테스트 결과

“Confluent Kafka” - 전체 업비트 마켓

<aside> <img src="notion://custom_emoji/845a6cfa-ad4b-4505-8350-960c9f51a87a/168954da-c755-8023-8dcf-007afaa4b2e6" alt="notion://custom_emoji/845a6cfa-ad4b-4505-8350-960c9f51a87a/168954da-c755-8023-8dcf-007afaa4b2e6" width="40px" />

Kafka 에는 크게 Apache Kafka, Confluent Kafka 두 줄기가 있는데 자바로만 개발하면 Apache Kafka 로 충분하지만 그 외 언어를 사용해야 할 때는 Confluent Kafka 를 쓰는게 보편적임

(Confluent 라는 실리콘밸리에 있는 회사가만든 Kafka 라고 함)

</aside>

테스트 개요

테스트 환경 요약

주요 성능 지표ㅁ