爬取的网站:http://jbk.39.net/chancegz/
这里只针对个别属性值:
#例如:'别名'下的span标签文本,‘发病部位'下的span标签文本以及‘挂号科室‘下的span标签文本 # def disease(url): text = get_html(url) tree = etree.HTML(text) bm = tree.xpath('//ul[@class="information_ul"]/li/i[text()="别名:"]/following-sibling::span/text()') bw = tree.xpath('//ul[@class="information_ul"]/li/i[text()="发病部位:"]/following-sibling::span/a/text()') ks = tree.xpath('//ul[@class="information_ul"]/li/i[text()="挂号科室:"]/following-sibling::span/a/text()') return bm, bw, ks
补充其他:
# /从根元素开始,相当于绝对路径 print(tree.xpath('/html/body/ul')) # //全局搜索,找到所有 print(tree.xpath('//li')) ul = tree.xpath('//ul') # . 当前 # 返回的都是列表,查找到所有 li = ul[0].xpath('./li') print(li) for l in li: # 获取属性id的值 @id print(l.xpath('./@id')) # 定位 /标签[@属性='值'] liClass = tree.xpath("//li[@class='liClass']") print(liClass) #判断,@属性='值' --->返回True或False print(tree.xpath("//li/@id='12'")) print("===========================") #直接使用下标访问,下标从1开始 获取对个li里面的文本 print(tree.xpath('//li[2]/text()')) #last()最后一个 print(tree.xpath('//li[last()]/text()')) #倒数第二个 print(tree.xpath('//li[last()-1]/text()')) # position() 位置 > < = >= <= print(tree.xpath('//li[position()>1]')) #* 通配 print(tree.xpath('//*[@class="liClass"]')) # 或 | print(tree.xpath('//li[@class="liClass"] | //div[@class="liClass"]'))
xpath基本语法
表达式 | 说明 |
---|---|
article | 选取所有article元素的所有子节点 |
/article | 选取根元素article |
article/a | 选取所有属于article的子元素的a元素 |
//div | 选取所有div元素(不管出现在文档里的任何地方) |
article//div | 选取所有属于article元素的后代的div元素,不管它出现在article之下的任何位置 |
//@class | 选取所有名为class的属性 |
表达式 | 说明 |
---|---|
/article/div[1] | 选取属于article子元素的第一个div元素 |
/article/div[last()] | 选取属于article子元素的最后一个div元素 |
/article/div[last()-1] | 选取属于article子元素的倒数第二个div元素 |
//div[@color] | 选取所有拥有color属性的div元素 |
//div[@color=‘red'] | 选取所有color属性值为red的div元素 |
表达式 | 说明 |
---|---|
/div/* | 选取属于div元素的所有子节点 |
//* | 选取所有元素 |
//div[@*] | 选取所有带属性的div 元素 |
//div/a 丨//div/p | 选取所有div元素的a和p元素 |
//span丨//ul | 选取文档中的span和ul元素 |
article/div/p丨//span | 选取所有属于article元素的div元素的p元素以及文档中所有的 span元素 |
补充:
相邻元素定位, 前一位: preceding-sibling::div[1] 后一位: following-sibling::div[1] 前N位: preceding-sibling::div[N] 后N位: following-sibling::div[N] # 爬取i标签中包含相关检查节点的兄弟 a节点(找到i节点—>找到其父节点->找到该父节点的子节点a) content = tree.xpath('//i[contains(text(),"相关检查:")]/../a[@class="blue"]/text()') xpath多个class限制 //div[contains(@class, 'demo') and contains(@class, 'other')] xpath 同时多个标签用| 分隔 //div[contains(@class, "jib-lh-articl")]/p | //div[contains(@class, "jib-lh-articl")]/h3 选择不包含某一属性的节点 //div[not(@class)] 没有class属性的div //tbody/tr[not(@class or @id)] 获取当前节点的是什么类型的html标签 xpath_element.tag
补充知识:使用Xpath定位元素(和元素定位相关的Xpath语法)
本文主要讲述Xpath语法中,和元素定位相关的语法
第一种方法:通过绝对路径做定位(相信大家不会使用这种方式)
By.xpath("html/body/div/form/input")
第二种方法:通过相对路径做定位
两个斜杠代表相对路径
By.xpath("//input//div")
第三种方法:通过元素索引定位
By.xpath("//input[4]")
第四种方法:使用xpath+节点属性定位(结合第2、第3中方法可以使用)
By.xpath("//input[@id='kw1']")
By.xpath("//input[@type='name' and @name='kw1']")
第五种方法:使用部分属性值匹配(最强大的方法)
By.xpath("//input[start-with(@id,'nice')]")
By.xpath("//input[ends-with(@id,'很漂亮')]")
By.xpath("//input[contains(@id,'那么美')]")
第六种方法:使用前集中方法的组合
By.xpath("//input[@id='kw1']//input[start-with(@id,'nice']/div[1]/form[3])
以上这篇关于python中的xpath解析定位就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持小牛知识库。
主要内容:Java XPath解析器 解析XML文档的步骤,Java XPath解析器 解析XML文档的示例Java XPath解析器 解析XML文档的步骤 以下是使用 XPath Parser 解析文档时使用的步骤。 导入与 XML 相关的包。 创建一个文档生成器。 从文件或流创建文档。 创建一个 Xpath 对象和一个 XPath 路径表达式。 使用XPath.compile()编译 XPath 表达式,并通过XPath.evaluate()评估编译的表达式来获取节点列表。 迭代节点列表。
本文向大家介绍关于python3中setup.py小概念解析,包括了关于python3中setup.py小概念解析的使用技巧和注意事项,需要的朋友参考一下 关于 python setup.py bdist python setup.py sdist 两者的区别 sdist 指的是source dist 即源码发布,带setup.py bdist 指的是built (binary) dist 即编译
问题内容: 在.Net中,我发现了一个很棒的库HtmlAgilityPack,它使您可以使用XPath轻松解析格式不正确的HTML。我已经在.Net站点中使用了几年,但是我不得不为我的Python,Ruby和其他项目选择更痛苦的库。有人知道其他语言的类似库吗? 问题答案: 在python中,ElementTidy解析标记汤并生成一个元素树,该树允许使用XPath进行查询:
问题内容: 我想使用python解析一个简单的小型XML文件,但是在pyXML上的工作似乎已经停止了。如果可能的话,我想使用python 2.6。谁能推荐可以与2.6兼容的XML解析器? 谢谢 问题答案: 如果它既小又简单,则只需使用标准库即可: 这将返回实现标准文档对象模型API的DOM树 如果以后需要执行诸如模式验证或XPath查询之类的复杂操作,那么我建议使用第三方lxml模块,它是流行的l
本文向大家介绍python selenium xpath定位操作,包括了python selenium xpath定位操作的使用技巧和注意事项,需要的朋友参考一下 xpath是一种在xm文档中定位的语言,详细简介,请自行参照百度百科,本文主要总结一下xpath的使用方法,个人看法,如有不足和错误,敬请指出。 注意:xpath的定位 同一级别的多个标签 索引从1开始 而不是0 1. 绝对定位: 此方
我想要一些关于使用saxon对默认命名空间进行xpath解析的信息。我使用Saxon-HE-9.5.1-3.jar在代码中使用xpath 2特性。在类路径中包含saxon库之后,我面临着一个问题,即使用默认名称空间解析XML文档的xpath。 am中的示例XML使用: 有效XPATH: /RESPONSE/HEADER/HITS 以下是它工作和不工作的情况: > "XPATH Works":未指定