Kafka 学习摘要

Kafka 相关

• Kafka从上手到实践-Kafka集群：Kafka Listeners

• 用了 Kafka 两年，踩过无数坑，快超神了！

• 大数据篇：Kafka

• docker-compose安装kafka集群

• 安装和使用cmak

• CMAK: kafka管理监控系统

• Kafka通讯协议指南

• Kafka 原理以及分区分配策略剖析

• kafka消息的分发与消费

• 线上Kafka突发rebalance异常，如何快速解决？

Kafka 管理

创建叫做 strconv 的 topic， 它有一个分区和一个副本

/opt/kafka_2.12-2.5.0/bin

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic strconv

列出全部topic

/opt/kafka_2.12-2.5.0/bin

kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
strconv
test

启动生产者，在交互模式下输入2条消息

/opt/kafka_2.12-2.5.0/bin

/usr/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic strconv
> Message 1
> Message 2

启动消费者，从开始部分消费，会将消息转储到标准输出

/opt/kafka_2.12-2.5.0/bin

/usr/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic strconv --from-beginning
Message 1
Message 2