关于从TripAdvisor抓取数据有什么建议吗

Question

我们目前正在进行一个NLP项目，需要从tripadvisor中提取语料库。通用域名格式。我们期望输出为两种类型：注释和该注释的评级。我的问题是:

>

是否有适合此目的的爬行工具？它必须易于使用，python是首选。我发现了一种很好的汤，但我想在这里问一下其他的建议。

有没有什么完整的工具只是为了这个目的？我是说为tripadvisor.com?写的程序

对于从大型网站获取数据（评论/评级）的任何其他建议，我们将不胜感激。

语料库将用于大学研究的情绪分析，我们需要尽快对其进行爬网。

Answer 1

按相应顺序回答您的问题：

>

你需要的是一个网络抓取工具。爬虫自动导航页面，而刮板将超文本标记语言转换为结构化数据。在不同的平台上有许多可用的工具。不知道美丽的汤。你是在html" target="_blank">设计刮板机还是会买它？

您可以根据您的定制需求准备好语料库或制作Web Scraper。您可以使用ScraperWiki请求您的数据或手动编写Scraper。我不知道你的数据结构，但有些数据可以使用谷歌电子表格抓取。你可以在这里看到。只要看看什么类型的数据被刮取，如果它类似于你的数据，那么你就可以使用它。

无法对某些站点或其特定目录进行爬网。你可以检查他们的机器人。txt以了解相同的信息。在从站点抓取数据之前，还要阅读该站点的策略。

你没有问过，但这里有一些情绪分析的免费工具。

Answer 2

对于python，您可以使用scrapy，这是一个熟练的爬虫框架，http://scrapy.org/

此外，我邀请您分享您收集的数据。如果tripadvisor数据已经准备好，则无需爬网。或者至少，您可以共享爬虫脚本。