爱宝儿

游戏开发及物联网大数据集群维护及部署开发，数据存储及相关设计，大数据、ETL、Flink、kafka，hadoop框架等多种技术开>发技术。涵盖语言涉及Java、Go、Python、C、C#等。

仅供学习参考

kafka Broker服务器配置

MrLovelyCbb 发布于 2022-08-29 收录于 Bigdata Kafka

基本服务器配置

一个基本的代理配置可能看起来像这样。您将看到主题、话题和日志的设置。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


num.partitions=1
default.replication.factor=3
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
num.network.threads=3
num.io.threads=8
num.recovery.threads.per.data.dir=1
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
group.initial.rebalance.delay.ms=0
zookeeper.connection.timeout.ms=6000

您可以通过自定义资源的config属性配置这些设置。Kafka

kafka 生产者配置优化

MrLovelyCbb 发布于 2022-08-29 收录于 Bigdata Kafka

基本生产者配置

1
2
3
4
5


bootstrap.servers=localhost:9092
key.serializer=org.apache.kafka.common.serialization.StringSerializer
value.serializer=org.apache.kafka.common.serialization.StringSerializer
client.id=my-client
compression.type=gzip

此配置指定连接到 Kafka 集群的引导地址，以及将消息的键和值从字符串转换为其相应的原始字节数据表示的序列化程序。

kafka 消费者配置优化

MrLovelyCbb 发布于 2022-08-29 收录于 Bigdata Kafka

基本消费者配置

基本的消费者配置必须有一个host:port引导服务器地址，用于连接到 Kafka 代理。它还需要反序列化器来转换消息键和值。建议使用客户端 ID，因为它可用于将客户端标识为日志和指标中请求的来源。