MelonCholi 收录于 Python

2021-04-17 约 1185 字预计阅读 3 分钟

PyQuery

初始化

1
from pyquery import PyQuery as pq

字符初始化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

doc = pq(html)

URL初始化

1
2
3
doc = pq(url="http://www.baidu.com",encoding='utf-8')
# 或
doc = pq(requests.get('http://cuiqingcai.com').text)

文件初始化

1
doc = pq(filename='demo.html')

最常用的初始化方式还是以字符串形式传递

CSS选择器

名称	例子	说明
.class	.color	选择class=‘color’的所有元素
#id	#info	选择id=‘info’的所有元素
*	*	选择所有元素
element	p	选择所有的p元素
element, element	div, p	选择所有的div元素和p元素
element element	div p	选择div标签内的所有p元素
element > element	div > p	选择所有父级是 div 元素的 p 元素
[attribute]	[target]	选择带有target属性的所有元素
[attribute=value]	[target=_blank]	选择target=_blank的所有元素

查找节点

pyquery 的选择结果可能是多个节点，也可能是单个节点，类型都是 PyQuery 类型，并没有返回像 Beautiful Soup 那样的列表。

所有查找结点的方法都可以加入 CSS 选择器

子节点

子孙节点

1
items.find()

首先，我们选取 class 为 list 的节点，然后调用了 find() 方法，传入 CSS 选择器，选取其内部的 li 节点，最后打印输出。

find() 方法会将符合条件的所有节点选择出来，结果的类型是 PyQuery 类型。

直接子节点

1
items.children()

父节点

直接父节点

用 parent 方法来获取某个节点的父节点

1
items.parent()

祖先节点

1
items.parents()

兄弟节点

选择 class 为 list 的节点内部 class 为 item-0 和 active 的节点

1
items.siblings()

遍历节点

对于单个节点来说，可以直接打印输出，也可以直接转成字符串

1
2
3
4
doc = pq(html)
li = doc('.item-0.active')
print(li)
print(str(li))

输出

1
2
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

对于多个节点的结果，需要遍历来获取

1
2
3
4
5
doc = pq(html)
lis = doc('li').items()
print(type(lis))
for li in lis:
    print(li, type(li))

输出

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
<class 'generator'>
<li class="item-0">first item</li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-1"><a href="link2.html">second item</a></li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<class 'pyquery.pyquery.PyQuery'>
<li class="item-0"><a href="link5.html">fifth item</a></li>
<class 'pyquery.pyquery.PyQuery'>

调用 items() 方法后，会得到一个生成器，遍历一下，就可以逐个得到 li 节点对象了，它的类型也是 PyQuery 类型

获取信息

获取属性

单个节点

attr()

1
2
3
a = doc('.item-0.active a')

print(a.attr('href'))

选中 class 为 item-0 和 active 的 li 节点内的 a 节点,调用 attr 方法。在这个方法中传入属性的名称，就可以得到这个属性值了

1
link3.html

attr属性

1
print(a.attr.href)

多个节点

当返回结果包含多个节点时，调用 attr 方法，只会得到第一个节点的属性。需要遍历获得

1
2
for item in a.items():
    print(item.attr('href'))

获取文本

单个节点

text()

1
2
3
a = doc('.item-0.active a')

print(a.text())

首先选中一个 a 节点，然后调用 text 方法，就可以获取其内部的文本信息

1
third item

html()

获取这个节点内部的 HTML 文本，

1
print(li.html())

输出

1
<span class="bold">third item</span>

多个节点

若结果是多个节点：

html 方法返回的是第一个节点的内部 HTML 文本（需要遍历每个节点）
text 则返回了所有的 li 节点内部的纯文本，中间用一个空格分割开，即返回结果是一个字符串（不需要遍历）

DOM操作

addClass()、removeClass()

添加，移除 class 标签

1
2
items.removeClass('active')
items.addClass('active')

attr、text、html

1
2
3
items.attr('name', 'link') #属性名，属性值
items.text('changed item')
items.html('<span>changed item</span>')

remove

例如，想提取 Hello, World 这个字符串，而不要 p 节点内部的字符串

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
wrap.find('p').remove()
print(wrap.text())

首先选中 p 节点，然后调用了 remove() 方法将其移除，然后这时 wrap 内部就只剩下 Hello, World 这句话了，然后再利用 text() 方法提取即可

1
Hello, World