网页刮削设计-最佳实践

Question

在我的过去，我已经实施了一些网页刮取项目--从小型到中型（大约100.000个刮取页面）不等。通常我的起点是一个索引页，它链接到几个页面，上面有我想刮的细节。最后大部分时间我的项目都起作用了。但是我总是觉得我可以改进工作流程（特别是关于减少我给被清除的网站造成的流量的挑战[和连接到那个主题：被禁止的风险:D])。

这就是为什么我想知道你的（最佳实践）web刮板设计方法（针对小型和中型项目）。

通常我会这样构建我的网页抓取项目：

>

我标识一个起始点，其中包含我想要从中刮取数据的URL。起点有一个相当可预测的结构，这使得它很容易被刮去

我在想要刮取的endpoint上看了一眼，并找出一些用来刮取和处理数据的函数

我收集我想从我的起点刮起的所有URL（endpoint），并将它们存储在一个列表中（有时起点是几个页面...例如如果显示搜索结果，一个页面只显示20个结果...但这些页面的结构几乎完全相同）

我开始抓取url_list并刮取我感兴趣的数据。

为了刮取数据，我运行一些函数以我需要的格式构造和存储数据

一旦我成功地抓取了数据，我将url标记为“已抓取”（如果遇到错误、超时或类似情况，我不必从头开始，而是可以从进程停止的地方继续）

我把我需要的所有数据结合起来，完成了这个项目

现在我想知道修改这个工作流并停止在抓取时提取/处理数据是否是一个好主意。相反，我会收集原始数据/网站，将url标记为已抓取并继续抓取。当所有网站都下载完毕（或者--如果是一个更大的项目--在更大的任务之间），我会运行函数来处理和存储原始数据。

这种做法的好处是：

• 如果遇到基于意外结构的错误，则不必重新刮除之前的所有页面。我只需要更改代码并在存储的原始数据上运行它（这将使我造成的流量最小化）
• 随着网站不断变化，我将拥有一个可复制的数据池

缺点是：

• 特别是当项目规模增大时，此方法可能需要太多空间

Answer 1

不知道您的目标，这很难说，但我认为这是一个好主意，就调试进行。

例如，如果您的刮刀的唯一目的是记录某个产品的价格，但您的刮刀突然无法获得该数据，那么是的--干掉刮刀是有意义的。

但是让我们说，目标不仅仅是价格，而是页面上的各种属性，而刮刀只是由于网站的变化而未能拾取一个属性。如果是这种情况，并且刮取其他数据属性仍然有价值，那么我将继续刮取，但记录错误。另一个考虑因素是失败率。网页抓取是非常挑剔的--有时网页加载不同或不完全，有时网站改变。刮刀100%失效了吗？或者，它仅仅是失败的5%的时间？

在出错时保存html转储当然有助于调试xpath失败等问题。您可以将更仔细的错误处理所消耗的空间最小化。例如，保存一个包含html转储的文件，如果这个特定错误还不存在，例如xpath无法返回值或类型不匹配等。

关于：被禁赛。我建议使用刮取框架。例如，在python中有一个Scrapy处理请求流。此外，代理服务的存在是为了避免被禁止。至少在美国，网络抓取已被明确视为合法。所有的公司都占到了网页刮取流量。你不能用100k刮破一个服务。想想沃尔玛每天在亚马逊上的几百万次刮刮乐，反之亦然。