当前位置: 首页 > 工具软件 > zhihu-spider > 使用案例 >

git上的php项目 知乎,zhihu-spider: Spring Boot项目框架,结合多种开源技术,知乎信息中转持久化的数据流平台,并提供HTML+JSON和RabbitMQ等消息接口,从而使有...

宿景曜
2023-12-01

1.项目背景

从一开始是想编写一个单纯的知乎爬虫,并实现其持久化,并由此展开周期性爬取知乎问题及答案以及其用户资料信息,完善前后端分离归档分类,信息检索等项目模块。但是在实现过程中,我逐渐发现自己对信息爬取的技能知识掌握严重不足,萌发了搭建知乎信息中转持久化的数据流平台,并提供HTML+JSON和RabbitMQ等消息接口,从而使有兴趣的伙伴开发并使用其熟悉的语言环境,实现信息爬取,从而持久化到此项目中来,完成最开始的开发目标。

2.项目的基础理论

(1).面向数据流的项目开发。将我需要什么数据,转换为我能提供什么功能让你帮我提供什么样的数据。实现从信息获取,信息持久,信息展示,信息检索的整体的数据流功能程序开发。

(2).面向接口的项目开发。采用HTML+JSON和RabbitMQ的消息接口,从而让异构系统可轻松调用,爬虫的客户端、服务器端、信息展示的前端可实现完美解耦,职责清晰,并行开发。

3.项目的部署运行

推荐基于Docker容器的部署运行

(1).项目的部署运行依赖于mysql和rabbitmq,请准确配置其内容后进行打包部署

(2).在其项目根目录下使用gradle打成jar包

$ gradle build

//打成的jar包默认在./build/libs路径下。

(3).将jar包上传至/home/zhuhu路径下

(4).编写Dockerfile文件

FROM keensoft/centos7-java8

MAINTAINER sunzc

# set timezone to PRC

ENV TZ="Asia/Shanghai" LANG=en_US.UTF-8 PRO_ENV="prod"

ADD zhihu-spider-1.0.0.jar /home/App.jar

ENTRYPOINT java -jar /home/App.jar

(5).编写start.sh文件,用于启动jar程序,并且镜像启动后执行

java -jar /home/App.jar

(6).编写docker打镜像命令文件build.sh

docker build -t cacubd-server-collector:0.0.1 .

(7).通过Dockerfile和build.sh将jar包打成docker镜像

$ sh build.sh

#打成的镜像信息为 zhihu-spider:1.0.0

(8).通过docker run命令启动docker容器

docker run --name zhihu-spider -p 8902:8080 -v /home/zhihu/logs:/home/zhihu/logs -e TZ=Asia/Shanghai -e spring.profiles.active=local --restart=always -d zhihu-spider:1.0.0

//详细信息可参考 http://blog.csdn.net/sun1021873926/article/details/72862644

(9).项目启动后查看启动日志

$ docker logs -f zhihu-spider

(10).成功启动后访问swagger资源页面,检测restful风格的方法调用

//访问路径如下

//http://127.0.0.1:8902

(11).当然,当打包成jar后,也可以直接使用以下命令在java8的环境中启动

$ java -jar zhihu-spider-1.0.0.jar

4.项目的发展方向

(1).项目的多版本客户端配套开发。初步规划应包含go,python,java,php等语言的爬虫功能,并通过接口进行数据的持久化实现。

(2).前端信息展示和信息检索的配套开发。初步规前端端完全分离,使用Redux+Flux+webpack+Babel进行整合开发。

(3).服务器端多节点微服务设计实现,依赖中间件的集群部署实现,从而提高项目生产环境的可靠性和稳定性。

5.相关文档链接

 类似资料: