本次项目是基于大数据过滤引擎的电影推荐系统--“懂你”电影网站,包含了爬虫、电影网站(前端和后端)、后台管理系统以及推荐系统(Spark)。
开发环境: pycharm + python3.6
软件架构: mysql + scrapy
运行环境: 本次爬取的内容在外网,所以需先翻墙后才能成功运行。
项目架构:
开发环境: IntelliJ IDEA + maven + git + linux + powerdesigner
软件架构: mysql + mybatis + spring + springmvc
项目描述: 懂你电影推荐网站是一个基于SSM框架的web项目,类似当前比较流行的豆瓣。用户可以在网站上浏览电影信息和查询电影,并且网站会根据用户的浏览记录给用户进行实时的电影推荐。现已将网站部署在 http://115.159.204.68 网站上,感兴趣的朋友可以自行查看。Git的安装与IDEA和github的集成可以参考博客。
项目架构:
开发环境: IntelliJ IDEA + maven + git + linux + powerdesigner
软件架构: mysql + mybatis + spring + springmvc + easyui
项目描述: 后台管理系统主要对用户信息和电影信息进行管理,如添加删除电影信息和完成用户信息的完善。其中为了更好地保存电影的图片信息,搭建了图片服务器,关于图片服务器FastDFS的搭建可参考博客。后台系统也布置在服务器上,感兴趣的朋友可以通过地址 http://115.159.204.68:8080/ 访问,为大家提供的测试账号为 test,密码为88888888。
项目架构:
开发环境: IntelliJ IDEA + maven + git + linux
软件架构: hadoop + zookeeper + flume + kafka + nginx + spark + hive + mysql
项目描述: 通过在电影网站系统埋点,获取到用户的点击事件(如用户喜欢哪部电影或对某部电影的评分)并将信息传至推荐系统,推荐系统根据该信息做出相应的处理,将推荐结果存入到mysql数据库中,web前端通过查询数据库将推荐的电影展示给用户。推荐流程如下:
项目架构:
具体步骤:
1.服务器规划(linux镜像为centos6):
2.电影数据集,地址: 本次下载的为1m大小的数据集
3.环境的搭建:
1)hdfs搭建
2)yarn搭建
3)mysql搭建,在spark2上搭建
4)hive搭建,在spark1上搭建
5)spark集群搭建,搭建standalone模式,spark1为master,其他为worker
4.数据的清洗: (上传数据至hdfs中,hdfs操作)
1)启动 hdfs: [root@spark1 ~]# start-dfs.sh
2)启动 yarn: [root@spark1 ~]# start-yarn.sh
3)启动 mysql: [root@spark2 ~]# service mysqld start
4)启动 hive: [root@spark1 ~]# hive --service metastore
5)启动 spark集群: [root@spark1 spark-1.6.1]# ./sbin/start-all.sh
6)代码(com.zxl.datacleaner.ETL)打包上传(spark-sql与hive集成)
5.数据的加工, 根据ALS算法对数据建立模型(ALS论文)
1)启动 hdfs: [root@spark1 ~]# start-dfs.sh
2)启动 yarn: [root@spark1 ~]# start-yarn.sh
3)启动 mysql: [root@spark2 ~]# service mysqld start
4)启动 hive: [root@spark1 ~]# hive --service metastore
5)启动 spark集群: [root@spark1 spark-1.6.1]# ./sbin/start-all.sh
6)代码(com.zxl.datacleaner.RatingData)打包上传,测试建立模型
6.建立模型, 根据RMSE(均方根误差)选取较好的模型
1)启动上述的服务
2)代码(com.zxl.ml.ModelTraining)打包上传,建立模型
注:com.zxl.ml.ModelTraining2中代码训练单个模型,其中参数 rank=50, iteration = 10, lambda = 0.01
7.产生推荐结果
1)启动上述的服务
2)代码(com.zxl.ml.Recommender)打包上传,产生推荐结果
8.数据入库, 存储为所有用户推荐的电影结果,mysql中存入的格式为(userid, movieid,rating)
1)启动上述的服务
2)代码(com.zxl.ml.RecommendForAllUsers)打包上传,数据入库
9.实时数据的发送
1)安装nginx,用来接收电影网站上用户的点击信息,写入本地文件
2)安装flume,实时监控本地文件,将数据发送至kafka消息队列中
10.实时数据的接收处理 ,如果打包到服务器运行错误,也可在本地IDEA上运行
2)安装kafka,用来接收发送数据
3)启动上述的服务
4)启动zookeeper: [root@spark1 soft]# zkServer.sh start
4)启动flume:[root@spark1 flume]# bin/flume-ng agent -c ./conf/ -f conf/flume-conf.properties -Dflume.root.logger=DEBUG,console -n a1
5)启动kafka: [root@spark1 kafka_2.11-0.10.1.0]# bin/kafka-server-start.sh config/server.properties
6)代码(com.zxl.datacleaner.PopularMovies2)运行,用于为没有登录或新用户推荐,默认推荐观看最多的5部电影
7)代码运行(需指定jar包 kafka-clients-0.10.1.0.jar)
毕业设计--基于Django的电影推荐系统和论坛 说明 注册普通用户通过web界面来设置,创建创建用户通过creeatsuperuser创建。下文有详细命令 导入电影信息通过insert_movies_script.py来操作 (会删除已有的所有信息!) 前端展示 浏览最多,评分最多,收藏最多,写的比较直白,你可以改的委婉点: 最热电影,火爆排行...之类的。每种有10条。 我猜你喜欢为基于用户推
#! /usr/bin/env python #coding=utf-8 import pandas as pd root="F:/Data/exe/ml-100k/" all_ratings=pd.read_csv(root+"u.data",delimiter="\t",header=None)#原始数据是制表符且没有表头 all_ratings.columns=(["UserId","Mov