当前位置: 首页 > 工具软件 > FeedParser > 使用案例 >

实用的 Python 之 feedparser

缪朝
2023-12-01

feedparser 号称是一个 universal feed parser,使用它我们可轻松地实现从任何 RSS 或 Atom 订阅源得到标题、链接和文章的条目了。

>>> import feedparser

为了建立直观,首先来看一个标准的 item:

<item>
<title><![CDATA[厦门公交车放火案死者名单公布<br/>警方公布嫌犯犯罪证据]]></title>
<link>http://www.infzm.com/content/91404</link>
<description><![CDATA[6月11日下午,厦门BRT公交车放火案47名死亡者名单公布。厦门政府新闻办6月10日发布消息称,有证据表明,陈水总携带汽油上了闽DY7396公交车。且有多名幸存者指认其在车上纵火,致使整部车引起猛烈燃烧。经笔迹鉴定,陈水总6月7日致妻、女的两封绝笔书系陈水总本人所写。]]></description>
<category>南方周末-热点新闻</category>
<author>infzm</author>
<pubDate>2013-06-11 11:24:32</pubDate>
</item>

feedparser 最为核心的函数自然是 parse() 解析 URL 地址的函数,它返回的究竟是什么样的内容呢?

>>> feedparser.parse()
{'bozo': 1,
 'bozo_exception': xml.sax._exceptions.SAXParseException('no element found'),
 'encoding': 'utf-8',
 'entries': [],
 'feed': {},
 'namespaces': {},
 'version': ''}

可以看到,得到是一个字典,’feed’(key) 对应的值(value)也是一个字典,’entries’ 则是 list。

基本用法

每个 RSS 和 Atom 订阅源都包含一个标题(d.feed.title)一组文章条目(d.entries)

通常,每个文章条目都有一段摘要(d.entries[i].summary),或者是包含了条目中实际文本的描述性标签(d.entries[i].description)

>>> import feedparser
>>> d = feedparser.parse('http://blog.csdn.net/lanchunhui/rss/list')
  • (1)d.feed

    >>> d['feed']['title']                             # feed 对应一个字典
    '以数学为生,终生学习数学'
    
    >>> d.feed.title                                   # 通过属性的方式访问
    '以数学为生,终生学习数学'
    
    >>> d.feed.link
    'http://blog.csdn.net/lanchunhui'
    
    >>> d.feed.subtitle
    '数学、编程、物理、文字(The nature of reality itself)'
  • (2)d.entries

    >>> type(d.entries)
    list
    >>> len(d.entries)
    20                                                             # 共20篇文章
    
    >>> [e.title for e in e.entries][:3]
    ['[原]Spark MLlib(一)正则化特征',
     '[原]Spark 基础 —— sc.broadcast',
     '[原]Scipy 基础 —— 稀疏矩阵']
    
    >>> d.entries[0].summary             # 第一篇文章的摘要信息
    >>> d.entries[0].summary == d.entries[0].description
    True
                            # 有些条目可能会不提供 summary 信息
                            # 此时 summary 信息可通过 description 获得

References

[1] python feedparser 使用

 类似资料: