当使用SeleniumWebDriver抓取网页时，服务器如何区分它是机器人还是人？

Question

我们的实验室与一家网络公司合作，开发了保护网页不被网络爬虫抓取的技术。测试网站http://119.254.209.77/。我不能在左边的页面上得到网址，比如“检查”。当我点击链接时，它会创建一个网址。使用Python Selenium Firefox，我模拟了点击操作，但是我得到了一个空白页面，而不是真实的数据。如果我只是自己点击链接，它会返回真实的数据。所以我想知道如何服务器可以识别我是一个网络爬虫，当我使用selenium网络驱动与火狐？我也想知道如何避免被它的网站视为网络爬虫。

这是我的密码：

    driver = webdriver.Firefox()
    driver.get('http://119.254.209.77/')
    time.sleep(5)
    pageSource = driver.page_source
    print(driver.page_source)

    # the target url

    checking = driver.find_element_by_id('_ctl0__ctl0_Content_MenuHyperLink2')

    # it seems to has no effects
    checking.click()
    time.sleep(2)
    print(driver.page_source)

Answer 1

似乎该网站正在检查您的鼠标位置，然后再将您传递到下一页。在单击元素之前移动到该元素对我有效：

driver = webdriver.Chrome()
driver.get('http://119.254.209.77/')
time.sleep(5)
pageSource = driver.page_source
print(driver.page_source)
# the target url
checking = driver.find_element_by_id('_ctl0__ctl0_Content_MenuHyperLink2')

action_chain = webdriver.ActionChains(driver)
action_chain.move_to_element(checking)
action_chain.click(checking)
action_chain.perform()
time.sleep(2)
print(driver.page_source)