大数据基于TMDB的电影数据分析系统安装及使用

卫博雅

2023-12-01

大数据TMDB安装及使用

过程整体分文五步骤##

（1）安装Linux操作系统：比如可以安装Ubuntu 16.04。

###（2）安装Hadoop：需要在Linux系统上安装Hadoop。
###（3）安装Spark：需要在Linux系统上安装Spark装。
###（4）安装Bottl：

（5）调试及运行代码

1.安装Linux

###1.安装三台centos7虚拟机
###2.配置网络

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static        # 地址分配模式
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33              # 网卡名称
UUID=1fccfa54-98bd-4101-9eca-bc976d7c042a
DEVICE=ens33
ONBOOT=yes              # 是否开机激活
IPADDR=192.168.0.135    # IP地址
NETMASK=255.255.255.0   # 子网掩码
GATEWAY=192.168.0.2    # 网关地址
DNS1=114.114.114.114    # DNS地址
DNS2=8.8.8.8            # DNS地址

systemctl restart network

3.使用xshell进行远程链接

如果出现链接缓慢等问题是因为检查dns导致的，需要进行更改

vi /etc/ssh/sshd_config //进入到配置文件中

#找到文件中：
UseDNS yes
#改为：
UseDNS no

systemctl restart sshd //重启sshd服务

4.安装vim、lrzsz等工具

yum install vim -y

yum install lrzsz -y

2.安装hadoop

1安装jdk

2永久关闭防火墙

先查看防火墙状态systemctl status firewalld.service

如果还在运行则关闭防火墙systemctl stop firewalld.service

禁用防火墙systemctl disable firewalld.service

3修改主机名和IP的映射关系

vim /etc/hosts

4做节点之间的免密配置

生成密钥
ssh-keygen

将公钥追加到authorized_keys（访问文件）
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

测试
ssh localhost （不需要密码登录说明成功）

发送
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

5上传并解压hadoop

6配置环境变量

vi /etc/profile

export JAVA_HOME=/home/java/jdk1.8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
export HADOOP_HOME=/home/hadoop/hadoop2.7
export HADOOP_LOG_DIR=/home/hadoop/hadoop2.7/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
 
export PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

source /etc/profile

7创建目录

mkdir /home/hadoop/hadoop2.7/tmp 用来存放临时文件

mkdir /home/hadoop/hadoop2.7/logs 用来存放日志文件

mkdir /home/hadoop/hadoop2.7/hdfs 用来存储集群数据

mkdir /home/hadoop/hadoop2.7/hdfs/name 用来存储文件系统元数据

mkdir /home/hadoop/hadoop2.7/hdfs/data 用来存储真正的数据

8修改 hadoop-env.sh和yarn-env.sh中Javahome值

export JAVA_HOME=/tmdb/jdk1.8.0_162

9修改核心配置文件

vi core-site.xml

<property>
 
    <name> fs.default.name </name>
 
    <value>hdfs://master:9000</value>
 
    <description>指定HDFS的默认名称</description>
 
</property>
 
<property>
 
    <name>fs.defaultFS</name>
 
    <value>hdfs://master:9000</value>
 
    <description>HDFS的URI</description>
 
</property>
 
<property>
 
    <name>hadoop.tmp.dir</name>
 
    <value>/home/hadoop/hadoop2.7/tmp</value>
 
    <description>节点上本地的hadoop临时文件夹</description>
 
</property>

vi hdfs-site.xml

<property>
 
        <name>dfs.namenode.name.dir</name>
 
        <value>file:/home/hadoop/hadoop2.7/hdfs/name</value>
 
<description>namenode上存储hdfs名字空间元数据 </description>
 
</property>
 
<property>
 
        <name>dfs.datanode.data.dir</name>
 
        <value>file:/home/hadoop/hadoop2.7/hdfs/data</value>
 
<description>datanode上数据块的物理存储位置</description>
 
</property>
 
<property>
 
        <name>dfs.replication</name>
 
        <value>1</value>
 
<description>副本个数，默认是3,应小于datanode机器数量</description>
 
</property>

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property>
 
    <name>mapreduce.framework.name</name>
 
    <value>yarn</value>
 
    <description>指定mapreduce使用yarn框架</description>
 
</property>

vi yarn-site.xml

<property>
 
        <name>yarn.resourcemanager.hostname</name>
 
        <value>master</value>
 
<description>指定resourcemanager所在的hostname</description>
 
</property>
 
<property>
 
        <name>yarn.nodemanager.aux-services</name>
 
        <value>mapreduce_shuffle</value>
 
        <description>NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行 MapReduce程序</description>
 
</property>

vi slaves

node1
 
node2
 
node3

10远程发送包含有jdk和hadoop的文件夹以及profile文件给其他节点

scp -r /tmdb root@slave2:/

scp -r /etc/profile root@slave2:/etc
###11格式化hdfs ###
hdfs namenode -format

12启动hadoop

如果没有配置环境变量则进入hadoop下的sbin目录

start-all.sh
输入yes即可启动
###13使用jps查看每个节点的进程 ###
###14 用web端查看节点信息 ###

在浏览器打开master:8088或master:50070

打开后显示节点的信息并都正常运行，即搭建成功

3.安装spark

1下载并上传以及解压安装文件

http://spark.apache.org/downloads.html

2.修改环境变量

vi /etc/profile

#Spark Envexport SPARK_HOME=/usr/spark-2.1.0export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile
###3配置spark ###

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

export JAVA_HOME=/usr/jdk1.8.0_121export SCALA_HOME=/usr/scala-2.12.1export SPARK_MASTER_IP=10.10.0.1export SPARK_WORKER_MEMORY=1gexport HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop

mv slaves.template slaves

vi slaves

master
slave1
slave2

4安装sacla语言并配置环境变量

5发送spark文件夹和环境变量到其他借点

scp -r /tmdb root@slave2:/scp -r /etc/profile root@slave2:/etc

6spark使用方法

1.启动hadoop

./start-all.sh

2.启动Master节点

start-master.sh

3.启动Worker节点

start-slaves.sh

4.通过浏览器查看Spark信息

http://192.168.100.10:8080

5.停止Master及Workder节点

stop-master.sh

stop-slaves.sh

##4安装Bottl ##

yum install python3-pip

pip3 install bottle

5.调试及运行代码

1.升级Python版本到Python3.6

在开始升级之前一定记得查看一下自己原本的python版本是多少，最后配置pip3和yum的时候会用到。

[root@bogon ~]# python -VPython 2.7.5

1、安装必备软件

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel gcc

2、下载Python3.6

mkdir /usr/python3.6

cd /usr/python3.6wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgztar -xvf Python-3.6.4.tgz

3、安装Python3

mkdir /usr/local/python3

4、编译

在解压的文件夹下(/usr/python3/python3.6.4)

pwd

./configure --prefix=/usr/local/python3

5、安装

在解压的文件夹下(/usr/python3/python3.6.4)

make

make install //先make再make install

6、创建新版本的软链接

mv /usr/bin/python /usr/bin/python_bak

ln -s /usr/local/python3/bin/python3 /usr/bin/python

7、配置

vim ~/.bash_profile

if [ -f ~/.bashrc ]; then        . ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/bin:/usr/local/python3/binexport PATH

source ~/.bash_profile

8、问题

vi /usr/bin/yum

!/usr/bin/python2.7！

vi /usr/libexec/urlgrabber-ext-down

!/usr/bin/python2.7！

2.准备rar解压缩工具

3.上传代码及数据包到Linux中

4.将数据文件上传到hdfs上

hdfs dfs -mkdir /user/hadoop

hdfs dfs -put tmdb_5000_movies.csv /user/hadoop

5.解压缩project.rar项目文件

rar x project.rar

###6.运行代码 ###
进入project文件夹下

cd /tmdb/data/project

运行数据分析代码

spark-submit analyst.py

运行数据可视化代码

spark-submit web.py

当出现以下命令行提示时运行成功

[root@master project]# spark-submit web.py21/06/11 19:54:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableBottle v0.12.19 server starting up (using WSGIRefServer())...Listening on http://0.0.0.0:9999/Hit Ctrl-C to quit.

打开浏览器访问 http://192.168.100.10:9999 即可看到可视化结果