爱宝儿

游戏开发及物联网大数据集群维护及部署开发，数据存储及相关设计，大数据、ETL、Flink、kafka，hadoop框架等多种技术开>发技术。涵盖语言涉及Java、Go、Python、C、C#等。

kafka 安装

MrLovelyCbb 发布于 2022-08-22 收录于 Bigdata Kafka

本文基于kafka.2.7.1 scala 2.13 Centos环境

kafka会按照默认配置，在9092端口上运行，并连接zookeeper的默认端口2181

MrLovelyCbb 发布于 2022-08-22 收录于 Bigdata Kafka

Kafka

为避免Kafka报”Too many open files”错误，Kafka的limits文件配置“kafka.conf”，部署在路径“/etc/security/limits.d”下，Kafka服务必须配置完后启动才能生效。

MrLovelyCbb 发布于 2022-08-22 收录于 Bigdata Flume

Flume 需要依赖 JDK 1.8+，JDK 安装方式见本仓库：

Linux 环境下 JDK 安装

下载所需版本的 Flume，这里我下载的是 CDH 版本的 Flume。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/