用Python和BeautifulSoup刮数据-无法提取div属性内容

Question

我一直试图从一个使用Python和BeautifulSoup的网站中提取一些数据。我似乎找不到提取div属性内容的方法。

例如，由此：

<div class= "something">
    <div class="a" title="b">
        <img class="c" height="d" src="e" width="f" alt="g">
    </div>

我想提取标题，得到的结果是：

b

我试过用这个：

for all_data in soup.find_all('div', {'class': 'someClass'}):
    for headline in all_data.find_all('div', {'class': 'main-
     attributes'}):

        for rating in headline.find('div', {'class': 'Something'}):
            print(rating) 

现在，这当然拉出了整个div类。我想要的只是把标题拔出来。另一个问题是，当我试图将整个div类写到一个CSV中时，它要么写一个空白，要么就把整个CSV弄乱了。

我真的很感谢任何帮助。我是Python和编码的初学者，所以如果这个问题不够具体，我很抱歉。

提前谢谢！！干杯

Answer 1

如果要提取类A元素的title,可以执行如下操作：

from bs4 import BeautifulSoup

ad= '<div class= "something"> \
        <div class="a" title="b"> \
           <img class="c" height="d" src="e" width="f" alt="g"> \
        </div>'
soup = BeautifulSoup(ad,"lxml").find_all("div", {"class": "a"})
for items in soup:
    title=items['title']     #this format is used to fetch attributes of an element
    print(title)

Answer 2

>

find()返回单个元素，而不是列表。所以，您不能这样迭代它：

for rating in headline.find('div', {'class': 'Something'}):
    print(rating)

要获得title属性，您可以简单地在soup对象上使用['title']，如下所示：

>>> html = '''<div class= "something">
<div class="a" title="b">
    <img class="c" height="d" src="e" width="f" alt="g">
</div>'''
>>> soup = BeautifulSoup(html, 'lxml')

>>> soup.find('div', class_='something').div
<div class="a" title="b">
<img alt="g" class="c" height="d" src="e" width="f"/>
</div>

>>> soup.find('div', class_='something').div['title']
'b'

或者，更准确地说，您可以使用

soup.find('div', class_='something').find('div', class_='a')['title']

阅读文档了解更多关于如何获取属性/属性内容的信息。