flume-kafka的操作笔记（Ubuntu）

 sudo apt-get install vim

2.执行上面命令以后，如果屏幕上出现信息要求进行确认，在提示处输入“y” 即可。
下面演示一个实例来了解vim编辑器的使用方法。假设要在“/home/hadoop/”目录下新建一个文件word.txt，里面包含一些单词。可以执行下面命令创建一个word.txt文件：

cd ~
vim word.txt

通过上面命令就打开了vim编辑器，然后，需要键盘敲击输入一个英文字母i，进入编辑状态以后才能修改内容，这时，就可以向word.txt文件中输入一些单词。修改后，需要按键盘上的Esc键退出vim的编辑状态，之后有以下几种选择：

1. 从键盘输入“:wq”三个英文字母，然后回车，表示保存文件并退出。

2. 从键盘输入“:q”两个英文字母，然后回车，表示不保存并退出。如果本次编辑过程只是查看了文件内容，没有对文件做任何修改，则可以顺利退出。但是，如果已经修改了文件内容，则vim编辑器不允许就这样退出，会给出提示信息，这时，要想不保存就退出vim编辑器，就要采用下面一种方式，即输入“:q!”。

3. 从键盘输入“:q!”三个英文字母，然后回车，表示不保存并强制退出。

这里我们从键盘输入“:wq”三个英文字母，然后回车，表示保存文件并退出vim编辑器。这样，就成功创建了word.txt文件，这时使用ls命令查看，就会发现“/home/hadoop/”目录下多了一个word.txt文件。如果要查看word.txt文件中的内容，可以采用两种方式。第一种方式是，仍然使用vim编辑器打开word.txt文件，查看其内容。第二种方式是使用cat命令，这种方式要比前一种简单得多。
这里需要指出的是，在Linux系统中使用vim编辑器创建一个文件时，并不是以扩展名来区分文件的，不管是否有扩展名，都是生成文本文件，.txt扩展名只是我们自己人为添加，方便自己查看用的。也就是说，创建word.txt和word这两个文件，对于Linux系统而言都是默认创建了文本类型的文件，和是否有.txt扩展名没有关系。

2.kafka测试

启动zookeeper（执行下面命令以后，终端窗口会返回一堆信息，然后就停住不动了，zookeeper就会按照默认的配置文件启动服务，没有回到shell命令提示符状态，这时，千万不要错误认为死机了，而是Zookeeper服务器启动了，正在处于服务状态。所以，千万不要关闭这个终端窗口，一旦关闭，zookeeper服务就停止了，所以，不能关闭这个终端窗口。）

# 进入kafka所在的目录
cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka服务端，启动新的终端，输入如下命令：（此处Kafka就会在后台运行，即使你关闭了这个终端，Kafka也会一直在后台运行。）

cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties

创建发布消息的节点。topic是发布消息发布的category,以单节点的配置创建了一个叫test的topic。

cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

可以用list列出所有创建的topics,来查看刚才创建的主题是否存在。

bin/kafka-topics.sh --list --zookeeper localhost:2181  

可以在结果中查看到test这个topic存在。接下来用producer生产点数据：(然后再次开启新的终端或者直接按CTRL+C退出。)

cd /usr/local/kafka
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

可以输入信息

hello hadoop

启动消费者使用consumer来接收数据,输入如下命令：

cd /usr/local/kafka
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

3.flume

查看版本信息

cd /usr/local/flume
./bin/flume-ng version #查看flume版本信息；

启动flume日志控制台

cd /usr/local/flume
flume-ng agent -c /usr/local/flume/conf -f
/usr/local/flume/conf/flume-hdfs.conf -n a1 -Dflume.root.logger=DEBUG,console