Kafka4 Integrating S3 and DocumentDB with AWS Managed Streaming for Apache Kafka (MSK) 2022.08.01 목차 1. 개요 2. 아키텍처 구성도 3. 환경 구성 및 테스트 A. AWS MSK 구성 B. AWS DocumentDB 구성 C. AWS S3 구성 D. AWS EC2를 이용한 MongoDB, Kafka 클라이언트 구성 E. AWS MSK Connect with Confluent S3 Sink Connector 구성 F. AWS MSK Connect with MongoDB Connector 구성 G. Kafka Connector 기능 확인 4. 제약 사항 5. 대안 아키텍처 참조 문서 1. 개요 - MSK (Managed Streaming for Apache Kafka)는 완전 관리형의 고가용성 Apache Kafka 서비스를 통해 안전하게 데이터를 스트리밍 한다. - MSK Con.. 2022. 8. 1. Strimzi #4 Performance test 2020.09.04 1. 개요 - 별도의 튜닝 없이 초 간단하게 Kubernetes 환경에서 동작하는 Kafka 성능 측정 2. Performance test - Test # 1 ✓ Produce message: max 132.3K/sec ✓ Consumer message: max 229.1K/sec % kafka-producer-perf-test.sh --topic my-topic --num-records 10000000 --record-size 100 --throughput -1 --producer-props bootstrap.servers=14.52.244.135:30170 792577 records sent, 158483.7 records/sec (15.11 MB/sec), 1020.3 ms av.. 2021. 9. 22. Strimzi #3 Monitoring 2020.09.01 1. 개요 - Strimzi를 모니터링 하기 위해 Prometheus, Grafana, Jaeger를 구성하고 Strimzi 설정을 변경 - Environments prometheus operator 0.38 Prometheus 2.16 Grafana 6.3.0 Strimzi 0.19 Kafka 2.5.0 2. Creating kafka cluster with metrics a. Deploying a Kafka cluster with Prometheus metrics configuration - Strimzi uses the Prometheus JMX Exporter to expose JMX metrics from Kafka and ZooKeeper using an HTTP endpo.. 2021. 9. 22. Strimzi #1 Overview (0.19.0) 2020.08.20 1. Key features - Strimzi simplifies the process of running Apache Kafka in a Kubernetes cluster. - The Operators provided with Strimzi are purpose-built with specialist operational knowledge to effectively manage Kafka. - https://strimzi.io/docs/operators/latest/overview.html#key-features-kafka_str 2. Kafka - Apache Kafka is an open-source distributed publish-subscribe messaging syst.. 2021. 9. 21. 이전 1 다음
