Linux搭建ELK环境并整合ossfs
ELK环境搭建
一、 JDK环境搭建
1. 下载相关版本的JDK文件，最好是高版本，因为ELK的相关组件不支持低版本JDK
直接通过命令下载：
wget http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-8u171-linux-x64.tar.gz?AuthParam=1527835497_6aebab7bcc1d289febc4abec8228f5a9
2. 环境变量配置
a) 命令行 vim etc/profile
b) 在底部加入如下配置（JAVA_HOME注意路径，为你自己安装路径）
i. export JAVA_HOME=/jdk1.8.0_171
ii. export JRE_HOME=${JAVA_HOME}/jre
iii. exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
iv. export PATH=${JAVA_HOME}/bin:$PATH
3. 测试是否配置成功
命令行：java-version
出现版本号说明配置成功
二、 nodejs环境搭建
1. 下载相关版本的nodejs，命令行
wget http://cdn.npm.taobao.org/dist/node/v10.2.0/node-v10.2.0-linux-x64.tar.xz
2. 解压之后到指定文件夹
3. 执行软连接
a) ln -s /路径/bin/npm /usr/local/bin/
b) ln -s /路径/bin/node /usr/local/bin/
4. 测试是否成功
命令行：node -v
出现版本号说明配置成功
三、 elasticdump下载安装
基于nodejs，在nodejs安装成功之后，并且npm没问题，安装elasticdump就很简单了。
命令行：npm install elasticdump
问题：可能会下载的很慢，可以换成淘宝的npm镜像
命令行：npm config set registry https://registry.npm.taobao.org
npm info underscore （如果上面配置正确这个命令会有字符串response）
启动文件在node-v10.2.0-linux-x64/bin/node_modules/elasticdump/bin
执行命令:
./elasticdump --input=http://172.31.2.168:9200/logs_cornerstone_20180530
--output=http://localhost:9200/logs_cornerstone_20180601
四、 elasticserch下载安装
1． 下载相关版本的elasticserch，解压到指定目录
2． 通过root权限给某一用户读写执行解压文件的权限（因为root用户不能启动elasticserch）
3． 启动时会出现内存不足的情况，修改解压文件config下面的jvm.options，修改Xms以及Xmx
-Xms512M
-Xmx512M
4． 启动中可能会出现很多错误，不过一般都是配置项设置的太小
a) 如果报错max file descriptors [4096]for elasticsearch process likely too low, increase to at least [65536]，修改如下配置soft nofile以及hard nofile
修改etc/security/limits.conf
* soft nofile 131072
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
b) 如果启动报错max number of threads[1024] for user [zuperman] likely too low
修改/etc/security/limits.d/90-nproc.conf
修改如下内容：
* soft nproc 1024
#修改为（如果没有上面的，则直接增加如下配置即可）
* soft nproc 2048
c) 中间可能会出很多这种问题，不过都问题不大，百度一下都能解决，修改好之后
执行命令行：.sysctl -p
5． 然后kill掉刚刚启动的进程（如果启动过，没有的话则直接启动），然后启动
6． 验证是否配置完成（有如下情况说明成功）
命令行：curl:localhost:9200
7． 这里可以修改elasticserch.yum，不过需要特别注意格式，空格什么的，不然启动会报错。
五、 kibana下载安装
1. kibana下载
2. 将压缩文件解压在指定目录
3. 修改修改配置文件kibana.yml
4. 启动elasticserch服务，不然启动kibana会出现找不到elasticserch.url
5. 确认下载安装完成
命令行curl:localhost:5601
六、 ossfs下载安装
1. 下载ossfs安装文件
2. 注意区分Ubuntu与centos的安装包
3. 使用方法
a) 设置bucket name 和 AccessKeyId/Secret信息，将其存放在/etc/passwd-ossfs文件中，注意这个文件的权限必须正确设置，建议设为640。
i. bucket name 和 AccessKeyId/Secret公司都有提供，一定别搞错了，不然挂载会出问题
ii. 而且文件一定得放在/etc/passwd-ossfs，因为后面去挂载的时候默认读的是etc文件下的文件
iii. 执行命令行
1. echo 你的bucket名字:ID:SECRET > /etc/passwd-ossfs
2. chmod 640 /etc/passwd-ossfs
3. mkdir ossfs
4. ./ossfs 你的bucket名字 /home/elk/你的oss地址(./ossfs命令默认安装在目录/usr/local/bin下面)