从图像标签Src属性中提取JPG

Question

我正在抓取此网页以供个人使用https://asheville.craigslist.org/search/fua并在提取页面上每个项目的缩略图时遇到问题。当我使用“检查”查看html DOM时，我可以查看包含我需要的. jpg的图像标签，但当我使用“查看页面源”时，img标签不会显示。起初我认为这可能是一个异步javascript加载问题，但一个可靠的消息来源告诉我，我应该能够直接用漂亮的汤抓取缩略图。

import lxml
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

ua = UserAgent()

    r = requests.get("https://asheville.craigslist.org/search/fua", params=dict(postal=28804), headers={"user-agent":ua.chrome})
    soup = BeautifulSoup(r.content, "lxml")
    for post in soup.find_all('li', "result-row"):
        for post_content in post.findAll("a", "result-image gallery"):
            print(post_content['href'])
            for pic in post_content.findAll("img", {'alt class': 'thumb'}):
                print(pic['src'])

有人能澄清我在这里误解了什么吗？将打印“a”标记的href属性的值，但我似乎无法打印“img”标记的src属性。提前感谢！

Answer 1

我能够用以下代码读取img标签：

for post in soup.find_all('li', "result-row"):
    for post_content in post.find_all("a", "result-image gallery"):
        print(post_content['href'])
        for pic in post_content.find_all("img"):
            print(pic['src'])

关于从craigslist上抓取的一些想法：

>

每个帖子似乎在一到两个图片之间加载。仔细检查后，除非单击箭头，否则不会加载旋转木马图像。如果你需要每篇文章的每张照片，你应该找到一种不同的方式来编写脚本，可能是通过访问每个有多个图像的文章的链接。

此外，我认为使用Selenium进行网络抓取非常好。您可能不需要它来完成这个项目，但它可以让您做更多的事情，例如单击按钮、输入表单数据等。这是我使用Selenium抓取数据的快速脚本：

import lxml
import requests
from bs4 import BeautifulSoup
from selenium import webdriver

def test():
    url = "https://asheville.craigslist.org/search/fua"
    driver = webdriver.Firefox()
    driver.get(url)
    html = driver.page_source.encode('utf-8')
    soup = BeautifulSoup(html, "lxml")
    for post in soup.find_all('li', "result-row"):
        for post_content in post.find_all("a", "result-image gallery"):
            print(post_content['href'])
            for pic in post_content.find_all("img"):
                print(pic['src'])