BeautifulSoup的高级应用之 contents children descendants string strings stripped_strings

桃扇骨 2022-08-04 05:26 206阅读 0赞

继上一节，[BeautifulSoup的高级应用 之 find findAll][BeautifulSoup_ _ find findAll]，这一节，主要讲解**BeautifulSoup**有关的其他几个重要应用函数。

本篇中，所使用的html为：

html_doc = """ 
 <html>
 <head><title>The Dormouse's story</title></head> 
 The Dormouse's story 
 Once upon a time there were three little sisters; and their names were 
 <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, 
 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well. 
 ... 
 </html>"""

**.contents**和**.children**

tag的 .contents 属性可以将 tag的子节点以列表的形式输出。

from bs4 import BeautifulSoup
 soup = BeautifulSoup(html_doc)
 head_tag = soup.head 
 head_tag 
 # <head><title>The Dormouse's story</title></head> head_tag.contents 
 [<title>The Dormouse's story</title>] 
 title_tag = head_tag.contents[0] 
 title_tag 
 # <title>The Dormouse's story</title> 
 title_tag.contents 
 # [u'The Dormouse's story']

BeautifulSoup对象本身一定会包含子节点 ,也就是说 标签也是 BeautifulSoup 对象的子节点 :

len(soup.contents) 
    # 1 
    soup.contents[0].name 
    # u'html'

字符串没有.contents 属性 ,因为字符串没有子节点 :

text = title_tag.contents[0] 
    text.contents 
    # AttributeError: 'NavigableString' object has no attribute 'contents'

通过 tagtagtag的 .children 生成器 ,可以对 tagtagtag的子节点进行循环 :

for child in title_tag.children: 
        print(child)
    # The Dormouse's story

**.descendants**:  
.contents和 .children 属性仅包含 tagtagtag的直接子节点 .例如 ,标签只有一个直接子节点

head_tag.contents 
 # [<title>The Dormouse's story</title>]

但是 标签也包含一个子节点 :字符串 字符串 “The Dormouse’s story”, 这种情况下字符串 “The Dormouse’s story” 也属于 标签的子孙节点 .descendants 属性可以对所有 tagtagtag的子孙节 点进行递归循环

for child in head_tag.descendants: 
 print(child) 
 # <title>The Dormouse's story</title>
 # The Dormouse's story

标签只有一个子节点 ,但是有 2个子孙节点 :节点和 的子 节点 , BeautifulSoup 有一个直接子节点 (节点 ), 却有很多子孙节点 :

len(list(soup.children)) #这里是html的children子节点
    # 1 
    len(list(soup.descendants)) #这里是html的descendants子孙节点 多个
    # 25

**.string**:  
如果 tagtagtag只有一个 NavigableString 类型子节点 ,那么这个 tag可以使用.string 得到子节点 :

title_tag.string 
    # u'The Dormouse's story'

如果一个 tag仅有一个子节点 ,那么这个 tag也可以使用 .string 方法 ,输出结果与当前唯一子 节点的 .string 结果相同 .  
如果 tag包含了多个子节点,tag就无法确定 .string.string.string .string.方法应该调用哪个子节点的内 , .string 的输出结果是 None。

**strings 和 stripped\_strings：**  
如果 tag中包含多个字符串 ,可以使用.strings 来循环获取 :

for string in soup.strings: 
        print(repr(string))

输出的字符串中 可能包含了很多空格或行 ,使用 .stripped\_strings 可以去除多余空白内容 :

for string in soup.stripped_strings: 
        print(repr(string))

[下一篇我们讲解父节点，兄弟节点，回退和前进。][Link 1]

[BeautifulSoup_ _ find findAll]: http://blog.csdn.net/winterto1990/article/details/47624167
[Link 1]: http://blog.csdn.net/Winterto1990/article/details/47794941