Rapid Miner不保存爬网结果

Question

我试图从IMDB网站抓取特定电影评论的评论。为此，我使用抓取网络，我有内嵌循环，因为有74个页面。

附件是配置的图像。请帮忙。我深陷其中。

爬网网站的URL为：http://www.imdb.com/title/tt0454876/reviews?start=%{pagePos}

Answer 1

当我尝试它时，我得到了403禁止错误，因为IMDB服务认为我是一个机器人。将Loop与Crawl Web一起使用是不好的做法，因为Loop运算符不实现任何等待。

此过程可以简化为仅由爬网操作员执行。关键参数包括：

• URL-将此设置为http://www.imdb.com/title/tt0454876
• 最大页数-设置为79页或任何您需要的数字
• 最大页面大小-将其设置为1000
• 爬网规则-将这些规则设置为您指定的规则
• output dir-选择一个文件夹来存储内容

这是有效的，因为爬行操作员将计算出所有可能的匹配规则的URL，并将存储那些也匹配的URL。访问将延迟1000毫秒（延迟参数），以避免在服务器上触发机器人排除。

希望这能让你开始。