当前位置: 首页 > 工具软件 > css-checker > 使用案例 >

Python项目-Day43-爬虫-正则表达式-CSS-XML

东方俊明
2023-12-01

Python项目-Day43-爬虫-正则表达式-CSS-XML

requests详解
1. 正则表达式

正则表达式本身是一种小型的、高度专业化的编程语言,而在python中,
 通过内嵌集成re模块,程序媛们可以直接调用来实现正则匹配。
 正则表达式模式被编译成一系列的字节码,然后由用C编写的匹配引擎执行。

[正则表达式复习](https://blog.csdn.net/qq_37892223/article/details/81366590)

2. 使用正则表达式

1. 实际上爬虫一共就四个主要步骤:

    1. 明确目标 (要知道你准备在哪个范围或者网站去搜索)
    1. 爬 (将所有的网站的内容全部爬下来)
    1. 取 (去掉对我们没用处的数据)
    1. 处理数据(按照我们想要的方式存储和使用)


2. 匹配中文

在某些情况下,我们想匹配文本中的汉字,有一点需要注意的是,中文的 unicode 编   码范围 主要在 [u4e00-u9fa5],这里说主要是因为这个范围并不完整,比如没有包    括全角(中文)标点,不过,在大部分情况下,应该是够用的。

假设现在想把字符串 title = u'你好,hello,世界' 中的中文提取出来,可以这么做:


    import re
    str="中a国111打线"

    regex=ur'[\u4e00-\u9fa5]+'

    result=re.findall(regex,str)
    print(result)

注意到,我们在正则表达式前面加上了两个前缀 ur,其中 r 表示使用原始字符串,u 表示是 unicode 字符串。但是在python3中默认编码为unicode所以u必须省略。

执行结果:

    ['中', '国', '打线']

如果爬取的网页中有中文,可能会出现乱码。原因是网页的编码格式可能是GBK,我们可以这样

    gbk_html = html.decode('gbk').encode('utf-8') 
  1. 案例一:解析淘宝数据

    #导入re正则表达式包
    import re
    #用来存储数据
    li=[]
    #打开爬取下来的html文件
    with open('taopage0.html','r+') as fp:
        data=fp.read()
    #根据正则表达式匹配
        plt = re.findall(r'\"view_price\": \"[\d\.]*\"', data)
    
        # 在爬取下来的网页中查找物品
        tlt = re.findall(r'\"raw_title\": \".*?\"', data)
    
        loc=re.findall(r'\"item_loc\": \".*?\"', data)
    
        for i in range(len(plt)):
            price = eval(plt[i].split(':')[1])
            title = eval(tlt[i].split(':')[1])
            location = eval(loc[i].split(':')[1])
    
            li.append([price,title,location])
    
    
    print(li)
    
  2. XML (lxml+xpath爬取)

    1. 什么是XML?

      • XML 指可扩展标记语言(EXtensible Markup Language)
      • XML 是一种标记语言,很类似 HTML
      • XML 的设计宗旨是传输数据,而非显示数据
      • XML 的标签需要我们自行定义。
      • XML 被设计为具有自我描述性。
      • XML 是 W3C 的推荐标准
    2. 什么是XPath?

      XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。

      XPath 开发工具

      • 开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)
      • Chrome插件 XPath Helper
      • Firefox插件 XPath Checker
    3. XML示例

      <?xml version="1.0" encoding="utf-8"?>
      
      <bookstore> 
      
        <book category="cooking"> 
          <title lang="en">Everyday Italian</title>  
          <author>Giada De Laurentiis</author>  
          <year>2005</year>  
          <price>30.00</price> 
        </book>  
      
        <book category="children"> 
          <title lang="en">Harry Potter</title>  
          <author>J K. Rowling</author>  
          <year>2005</year>  
          <price>29.99</price> 
        </book>  
      
        <book category="web"> 
          <title lang="en">XQuery Kick Start</title>  
          <author>James McGovern</author>  
          <author>Per Bothner</author>  
          <author>Kurt Cagle</author>  
          <author>James Linn</author>  
          <author>Vaidyanathan Nagarajan</author>  
          <year>2003</year>  
          <price>49.99</price> 
        </book> 
      
        <book category="web" cover="paperback"> 
          <title lang="en">Learning XML</title>  
          <author>Erik T. Ray</author>  
          <year>2003</year>  
          <price>39.95</price> 
        </book> 
      
      </bookstore>
      

    安装lxml

    pip install lxml
    
    1. 常用的方法

      1. etree.parse()

        读取xml文件,结果为xml对象(不是字符串)

      2. etree.HTML(string_html)

        将字符串形式的html文件转换为xml对象

      3. etree.toString(htmlelement,encoding=”utf-8”).decode(“utf-8”)

        etree.tostring(html,encoding="utf-8", pretty_print=True).decode()
        
        解决中文显示问题
        
    2. 选择器

      表达式描述
      nodename选取此节点的所有子节点。
      /从根节点选取。
      //从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
      .选取当前节点。
      ..选取当前节点的父节点。
      @选取属性。

      范例

      bookstore   选取 bookstore 元素的所有子节点(如果只有一个的话)。
      /bookstore  选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
      bookstore/book  选取属于 bookstore 的直接子元素的所有 book 元素。
      //book  选取所有 book 子元素,而不管它们在文档中的位置。
      bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
      bookstore//book/@lang   选取book元素的lang属性值。
      bookstore//book[@class="book-css"]/title    选取class属性值为“book-css”的book元素的title。
      //*[@class="bold"] 获取 class 值为 bold 的标签名
      

      使用属性时,不要忘记@符号

      /表示直接子元素,//表示所有子孙元素

      读取案例-xml

      #from lxml import etree #这样写后面会出现红色波浪线
      
      import lxml.html
      etree = lxml.html.etree
      # 读取文件:这个时候只时候读取xml格式的文件,显然局限性太强!!!!!
      html = etree.parse('data.xml')
      # 转化为字节字符串
      # result = etree.tostring(html, pretty_print=True)
      # print(type(html))  # 显示etree.parse() 返回类型
      # print(result)
      titles = html.xpath('/bookstore/book/title')
      
      for tt in titles:
          print(tt.text)
      
      # 如果不是直接子元素就要用//
      
      titles = html.xpath('/bookstore//title')
      
      for tt in titles:
          print(tt.text)
      
    3. lxml读取html文件

      自己创建html解析器,增加parser参数

      import lxml.html
      etree = lxml.html.etree
      parser = etree.HTMLParser(encoding="utf-8")
      htmlelement = etree.parse("liepin.html", parser=parser)
      print(htmlelement)
      html_string=etree.tostring(htmlelement, encoding="utf-8").decode("utf-8")
      
      #读取innerText
      links=htmlelement.xpath('//div/div/span/a')
      
      for link in links:
          print(link.text)
      
      #读取属性的值
      
      with open('liepin.html','r+') as fp:
          content=fp.read()
          html=etree.HTML(content)
          links = html.xpath('//div/div/span/@title')
          for title in titles:
              print(title)
      
  3. BeautifulSoup4

    lxml 只会局部遍历,而Beautiful Soup 是基于HTML DOM的,会载入整个文档,解析整个DOM树,因此时间和内存开销都会大很多,所以性能要低于lxml。

    BeautifulSoup 用来解析 HTML 比较简单,API非常人性化,支持CSS选择器、Python标准库中的HTML解析器,也支持 lxml 的 XML解析器。

    Beautiful Soup 3 目前已经停止开发,推荐现在的项目使用Beautiful Soup 4。使用 pip 安装即可:pip install beautifulsoup4

    安装

    pip install beautifulsoup4
    
    1. tag (可以使用文档对象直接.标签名获取)

      from bs4 import BeautifulSoup
      
      # html='....'
      #创建 Beautiful Soup 对象
      # soup = BeautifulSoup(html)
      
      #打开本地 HTML 文件的方式来创建对象
      soup = BeautifulSoup(open('data.xml'),"lxml")
      
      #格式化输出 soup 对象的内容
      # print(soup.prettify())
      print(soup.book) 
      

      我们可以利用 soup 加标签名轻松地获取这些标签的内容,这些对象的类型是bs4.element.Tag。但是注意,它查找的是在所有内容中的第一个符合要求的标签。
      print(soup.book)

    2. 对于 Tag,它有两个重要的属性,是 name 和 attrs

      from bs4 import BeautifulSoup
      
      # html='....'
      #创建 Beautiful Soup 对象
      # soup = BeautifulSoup(html)
      
      #打开本地 HTML 文件的方式来创建对象
      soup = BeautifulSoup(open('liepin.html'),"lxml")
      
      #格式化输出 soup 对象的内容
      # print(soup.prettify())
      
      nodes=soup.select('div.company-info p a')
      
      nodes=soup.select('div#div01 div.company-info > p[name="pr"] a')
      
      for node in nodes:
          #获取节点名称
          print(node.name)
      
          #获取节点所有属性
          print(node.attrs)
      
          #获取节点href属性的值
          print(node['href'])
          # print(node.get('href'))
      
      
          #获取节点的值
          print(node.string)      
      
 类似资料: