模拟 Kafka 数据流调试 FTRL 的方法
优质
小牛编辑
133浏览
2023-12-01
Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件,比如,新建一个名为streaming的文件夹
mkdir streaming
Zookeeper安装
1.下载zookeeper
这里使用的版本是3.4.11,下载页面是Zookeeper下载,当然你也可以直接输入下面的命令
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz
2.安装Zookeeper
解压:
tar zxvf zookeeper-3.4.11.tar.gz
进入到解压好的zookeeper目录中,得到当前目录
cd zookeeper-3.4.11
pwd
编辑你环境变量文件:~/.bashrc或者其他文件(如是zsh,则为~/.zshrc) 添加:
export ZK_HOME=/your/zk/home # 这里填写你pwd的结果
export PATH=$PATH:$ZK_HOME/bin
然后使之生效:
source ~/.bashrc # 刚才编辑的环境变量文件
进入到配置目录:
cd zookeeper-3.4.11/conf
复制配置文件:
cp zoo_sample.cfg zoo.cfg
将dataDir=/tmp/zookeeper修改为你的安装目录下的data文件夹
3.启动zookeeper
zkServer.sh start
Kafka安装
1.下载kafka
回到刚才创建的streaming目录
cd ../..
你可以从kafka官网上下载:下载地址,也可以直接输入下面命令下载
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
2.安装kafka
解压:
tar zxvf kafka_2.11-1.0.0.tgz
修改zk相关的配置文件: 修改dataDir的值和刚才在zk中的值同步
3.启动并创建topic
启动kafka:
bin/kafka-server-start.sh config/server.properties
创建topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1
其中:
- zookeeper:如localhost:2181,表示zookeeper的地址
- topic:topic的名字,如test1
- partitions:topic的分区数,非特殊情况取1即可
4.建立producer
建立生产者来发送streaming数据,同样在kafka安装目录下,输入:
其中bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1
- broker-list:指定生产者要推送消息的broker地址
- topic:指定topic,跟刚才建立的topic名字保持一致
5.将需要发送的数据在producer端发送
生产者建立后,生产者端一直处于等待发送数据状态。此时copy你需要发送的数据至生产者端,按回车即发送。
6.消费者consumer端接收数据
消费者端接收数据时,需要指定kafka端的三个信息:zookeeper地址,group名,topic名。其中zookeeper的地址以及topic的名字只需与上述过程的设置保持一致即可,如zookeeper地址为“localhost:2181”,topic名字为“test1”,group名可自己设定。
项目地址:https://github.com/Angel-ML/angel
官网:https://angelml.ai/