刮擦问题（动态含量）（无硒）

Question

我需要刮http://www.vintagetoday.be/fr/montres但它有动态内容。

我该怎么做呢？

从bs4导入请求导入美丽汤t=requests.get（"vintagetoday.be/fr/catalogue.awp"）. text print（len（美丽汤（t，"lxml"）. findAll（"td"，{"class"："Lien2"}））

Answer 1

我肯定不是这方面的专家，但我认为这正是你想要的。

from bs4 import BeautifulSoup
from urllib.request import Request, urlopen
import re

req = Request("http://www.vintagetoday.be/fr/montres")
html_page = urlopen(req)

soup = BeautifulSoup(html_page, "lxml")

links = []
for link in soup.findAll('a'):
    links.append(link.get('href'))
print(links)

有关更多信息，请参见下面的两个链接。

https://pythonspot.com/extract-links-from-webpage-beautifulsoup/

https://pythonprogramminglanguage.com/get-links-from-webpage/

Answer 2

这是正常的，你得到的只是16个链接，而不是430，当页面第一次加载时，它只带有前16个手表（链接），以获得更多，你需要向下滚动页面，更多的手表将出现，要实现这个你可以用硒。

一个更好的方法是反转用于加载手表（分页）的AJAX调用，并直接在代码中使用此调用。快速查看显示，他们调用以下URL以加载更多手表（POST）：

http://www.vintagetoday.be/fr/montres?AWPIDD9BBA1F0=27045E7B002DF1FE7C1BA8D48193FD1E54B2AAEB

我没有看到任何指示分页tho的参数，这意味着它存储在会话中，它们还发送一些查询字符串参数和请求正文，因此您也需要检查它。

返回值似乎是XML格式的，可以直接从XML获取URL。