这是 www.shousibaocai.org 的网站源代码。 开源的目的是为了促进技术交流和相互学习，把DHT与搜索引擎技术应用到更广泛的领域去。
本站于2015年5月使用django改写。 本站于2019年使用nodejs改写。 与爬虫相关的代码都在目录spider目录下。
作为最早在国内研究和实践DHT爬虫的人，我的灵感是来自芬兰Helsinki大学的这篇论文： Real-World Sybil Attacks in BitTorrent Mainline DHT 英文好的同学应该很容易读懂，跟我写的不到300行的爬虫代码大致原理一样。初次接触DHT网络的可以结合我之前的文章阅读，或者拜读Kevin Lynx的博客。所以具体原理在这里就不再阐述了。
手撕包菜一开始只是为了纯粹的技术研究，没有去想这个搜索引擎能给网民带来什么样的福利。当时采集了大量的数据，发现有一半以上的资源为限级内容，于是试图去对资源进行分类并且做了很多这方面的工作。譬如，基本上能通过一套规则能筛选出限级内容，对资源进行分类，如果是视频还能匹配出是哪一部影片。可惜，这些工作我主观上认为对生活应用并没有太大价值，于是就放弃了深入的研究。或许是因为网民使用此类搜索引擎大部分都是具有明显的目的性。
手撕包菜经历了多次点技术变更
开源版本使用了django网站框架重写，之前是Flask，再早期是tornado。电影FM也是使用tornado，后来发现tornado并不适用于任何场景。以内容为王的网站还是django比较擅长，只是入门时间比其他框架都较长。早期数据库采用了MongoDB，因为配合Python读写数据很方便，也不用关注数据结构，搜索功能采用自带的关键词搜索，不过后来随着资源数量增加，性能也明显跟不上。今年换了WiredTiger引擎，自带的fulltext search还是不给力。另外Amazon的cloudsearch是个坑，土豪可以考虑，性能真的很不错，就是比较贵。最后还是搭建一个SphinxSearch吧，数据库也换成MySQL（MyISAM引擎），配合起来也很方便。Sphinx创建全文索引的速度很给力，官方的自评也很高，我自己测试1000w的资源（大概3GB），1分钟左右就索引完毕。不信，大家可以自测一下。
-
虽然安装的是mariadb, 但是客户端库，还是用到mysql的名字。 有些朋友在ubuntu安装MySQL-Python安装过程中出现错误提示 mysql_config not found 然后直接显示安装失败了，那么灰到这类问题我们要怎么解决呢，下面一聚教程注mysql_config not found错误问题给大家分析解决技巧吧。 配置MySQL-Python的时候系统报错，提示： Envi
-
原文： ssbc 手撕包菜运行一段时间就停止的原因 ssbc 运行一段时间后，大概半个小时，就莫名奇妙停止不爬了，通过错误提示可以看出，其实是ssbc与mysql(maridb)断开连接了，导致程序异常，当然就插入不了数据了。 所以解决办法很简单，有多种解决办法： 一种是写个脚本，定时重启爬虫。这种方法比较笨，效率低下，因为不知道什么时候爬虫停止了。 另一种是修改下代码，当mysql断开连接时，再
-
Failed building wheel for oursql 主要错误表现为： In file included from oursqlx/compat.c:55:0: oursqlx/_exceptions.c: In function ‘_oursqlx_exc_from_errno’: oursqlx/_exceptions.c:620:24: error: ‘ER_ERR
-
搜索引擎分为两部分： 时间筛选 和 搜索引擎 （详情） 1.时间筛选 便捷按钮有今日、昨日、前日、上周 X、近七天，并且能自定义选择时间段来得出想要的结果报表 2.搜索引擎 （时间段详情） 选择日期，查看来自对应时间段内，各个搜索引擎的访问量比例
-
我有大量相同类型的实体，每个实体都有大量属性，并且我只有以下两种选择来存储它们: 将每个项存储在索引中并执行多索引搜索 将所有enties存储在单个索引中，并且只搜索1个索引。 一般而言，我想要一个时间复杂度之间的比较搜索“N”实体与“M”特征在上述每一种情况！
-
lucene 和 es 的前世今生 lucene 是最先进、功能最强大的搜索库。如果直接基于 lucene 开发，非常复杂，即便写一些简单的功能，也要写大量的 Java 代码，需要深入理解原理。 elasticsearch 基于 lucene，隐藏了 lucene 的复杂性，提供了简单易用的 restful api / Java api 接口（另外还有其他语言的 api 接口）。 分布式的文档存储
-
搜索引擎 关键参数 报告 method metrics(指标, 数据单位) 其他参数 搜索引擎 source/engine/a pv_count (浏览量(PV)) pv_ratio (浏览量占比，%) visit_count (访问次数) visitor_count (访客数(UV)) new_visitor_count (新访客数) new_visitor_ratio (新访客比率，%) ip
-
更改历史 * 2018-05-07 胡小根 初始化文档 1 历史、现状和发展 1.1 历史 1.2 现状 1.3 发展 难点：预测发展方向。 2 安装和使用 2.1 安装 2.2 使用 创建index和type 上传单条数据 批量上传数据 查询 2.3 示例 2.4 最佳实践 难点：最佳实践，超出于示例，应该归纳总结出积累的技巧。 3 同类技术对比 难点：归纳比对项 参考资料 El
-
元搜索引擎 原搜索引擎是通过一个统一的用户界面帮助用户在多个搜索引擎中选择和利用合适的搜索引擎来实现检索操作，是对分布于网络的多种检索工具的全局控制机制。 自己没搜索引擎，又想要大规模的数据源，怎么办？可以对百度搜索和谷歌搜索善加利用，以小搏大，站在巨人的肩膀上。有很多的应用场景可以很巧妙地借助百度搜索和谷歌搜索来实现，比如网站的新闻采集，比如技术、品牌的新闻跟踪，比如知识库的收集，比如人机问答系
-
我使用< code > Hibernate Search 4 . 5 . 1 编写了< code>Spring web-app。当我尝试搜索时，它返回一个条目列表。我认为索引中的问题。用于索引的目录已创建，但实体保存文件后，目录中的文件不变。 这是我的Spring配置文件 我的实体文件
-
bugu-mongo 2.x版本集成了Lucene的功能。当往MongoDB中新增一个Document时，能自动为该Document建立Lucene索引。相应的，当MongoDB中的Document被修改、删除时，对应的Lucene索引也会修改、删除。 另外，bugu-mongo还提供了对Lucene搜索的支持。根据Lucene索引进行搜索的时候，搜索结果能自动转换成对应的Entity对象。 在L