使用lxml，xpath和css选择器的Python脚本也返回空列表

Question

我试图使用xpath和lxml从html标签中抓取下一页的href链接。但是xpath返回空列表，而它是单独测试的，它似乎可以工作。

我尝试了css选择器和xpath，它们都返回空列表。

代码返回空值，而xpath似乎工作正常。

import sys
import time
import urllib.request
import random
from lxml import html 
import lxml.html 
import csv,os,json
import requests
from time import sleep
from lxml import etree

username = 'username'
password = 'password'
port = port
session_id = random.random()
super_proxy_url = ('http://%s-session-%s:[e-mail]:%d' %(username, session_id, password, port))
proxy_handler = urllib.request.ProxyHandler({
        'http': super_proxy_url,
        'https': super_proxy_url,})
opener = urllib.request.build_opener(proxy_handler)
opener.addheaders = \[('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36')]
print('Performing request')

page = self.opener.open("https://www.amazon.com/s/ref=lp_3564986011_pg_2/133-0918882-0523213?rh=n%3A283155%2Cn%3A%211000%2Cn%3A1%2Cn%3A173508%2Cn%3A266162%2Cn%3A3564986011&page=2&ie=UTF8&qid=1550294588").read()
pageR = requests.get("https://www.amazon.com/s/ref=lp_3564986011_pg_2/133-0918882-0523213?rh=n%3A283155%2Cn%3A%211000%2Cn%3A1%2Cn%3A173508%2Cn%3A266162%2Cn%3A3564986011&page=2&ie=UTF8&qid=1550294588",headers={"User-Agent":"Mozilla/5.0"})

doc=html.fromstring(str(pageR))

html = lxml.html.fromstring(str(page))
links = html.cssselect('#pagnNextLink')
for link in links:
        print(link.attrib['href'])

linkRef = doc.xpath("//a[@id='pagnNextLink']/@href")
print(linkRef)
for post in linkRef:
    link="https://www.amazon.com%s" % post

我在这里尝试了两种方法，但似乎都不起作用。

我正在使用一个代理服务器，用于访问链接，它似乎可以工作，因为“文档”变量正被HTML内容填充。我已经检查了链接，我在正确的页面上获取这个xpath/csslink。

Answer 1

更有经验的人可能会给你更好的建议与您的设置，所以我将简单地指出我所经历的：

当我使用请求时，我有时得到链接，有时没有。当没有时，响应表明它正在检查我不是机器人，并确保我的浏览器允许cookie。

使用硒，我在测试中得到了可靠的结果，尽管这可能不够快，或者出于其他原因是你的选择。

from selenium import webdriver
d = webdriver.Chrome()
url = 'https://www.amazon.com/s/ref=lp_3564986011_pg_2/133-0918882-0523213?rh=n%3A283155%2Cn%3A%211000%2Cn%3A1%2Cn%3A173508%2Cn%3A266162%2Cn%3A3564986011&page=2&ie=UTF8&qid=1550294588'
d.get(url)
link = d.find_element_by_id('pagnNextLink').get_attribute('href')
print(link)

带代理的Selenium（Firefox）：

在Python中使用代理运行Selenium Webdriver

硒与代理（Chrome）-这里很好地覆盖：

https://stackoverflow.com/a/11821751/6241235