BeautifuSoup库如何在Python中使用-创新互联

这篇文章将为大家详细讲解有关BeautifuSoup库如何在Python中使用，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。

BeautifulSoup简介

Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度更快，推荐使用lxml 解析器。

1.  创建 BeautifulSoup 对象

首先导入库 bs4   lxml  requests

#encoding:UTF-8
from bs4 import BeautifulSoup
import lxml
import requests

使用官方字符串来演示：

html = """


The Dormouse's story

Once upon a time there were three little sisters; and their names were
,
Lacie and
Tillie;
and they lived at the bottom of a well.

...

"""

创建 beautifulsoup 对象：

soup = BeautifulSoup(html,'lxml') #创建 beautifulsoup 对象

还可以用本地 HTML 文件来创建对象：

soup1 = BeautifulSoup(open('index.html')) #用本地 HTML 文件来创建对象

打印一下 soup 对象的内容，格式化输出：

print soup.prettify() #打印 soup 对象的内容，格式化输出

输出结果，格式化打印出了它的内容，这个函数经常用到。

2.  四种对象

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

• Tag

• NavigableString

• BeautifulSoup

• Comment

（1）Tag

Tag就是 HTML 中的一个个标签，例如：

用 BeautifulSoup 可以很方便地获取 Tags：

print soup.title
print soup.head
print soup.a
print soup.p
print type(soup.a)

这种方式查找的是在所有内容中的第一个符合要求的标签。

对于 Tag，它有两个重要的属性，name 和 attrs ：

print soup.name
print soup.a.name
print soup.attrs
print soup.p.attrs #在这里，我们把 p 标签的所有属性打印输出了出来，得到的类型是一个字典。
print soup.p['class'] #单独获取某个属性
print soup.p.get('class') ##单独获取某个属性 跟上面一样的

可以对这些属性和内容等等进行修改：

soup.p['class']="newClass"

也可以对这个属性进行删除：

del soup.p['class']

（2）NavigableString

得到了标签的内容用 .string 即可获取标签内部的文字，例如：

print soup.p.string

来检查一下它的类型：

print type(soup.p.string)
#

可以看到它的类型是一个 NavigableString，翻译过来叫 可以遍历的字符串。

（3）BeautifulSoup

BeautifulSoup 对象表示的是一个文档的全部内容.大部分时候,可以把它当作 Tag 对象，是一个特殊的 Tag，我们可以分别获取它的类型，名称：

print type(soup.name)
#
print soup.name 
# [document]
print soup.attrs 
#{} 空字典

（4）Comment

Comment 对象是一个特殊类型的 NavigableString 对象，其实输出的内容仍然不包括注释符号。我们找一个带注释的标签：

print soup.a
print soup.a.string
print type(soup.a.string)

运行结果如下：

 Elsie 

a 标签里的内容实际上是注释，但是如果我们利用 .string 来输出它的内容，我们发现它已经把注释符号去掉了，所以这可能会给我们带来不必要的麻烦。

我们打印输出下它的类型，发现它是一个 Comment 类型，所以，我们在使用前最好做一下判断，判断代码如下：

if type(soup.a.string)==bs4.element.Comment:
  print soup.a.string

上面的代码中，我们判断了它的类型，是否为 Comment 类型。

3.   遍历文档树

（1）直接子节点

tag 的 .content 属性可以将tag的子节点以列表的方式输出：

print soup.head.contents 
#运行结果：
#[]
 
#输出方式为列表，我们可以用列表索引来获取它的某一个元素：
print soup.head.contents[0]

.children

它返回的不是一个 list，不过我们可以通过遍历获取所有子节点。我们打印输出 .children 看一下，可以发现它是一个 list 生成器对象：

print soup.head.children
#运行结果：
#
 
#遍历一下获得里面的内容：
for item in soup.body.children:
  print item

（2）所有子孙节点

.contents 和 .children 属性仅包含tag的直接子节点，.descendants 属性可以对所有tag的子孙节点进行递归循环，和 children类似，要获取其中的内容，我们需要对其进行遍历：

for item in soup.descendants:
  print item
 
#查看运行结果，可以发现，所有的节点都被打印出来了：
#
#
#The Dormouse's story

#Once upon a time there were three little sisters; and their names were
#,

（3）节点内容

如果一个标签里面没有标签了，那么 .string 就会返回标签里面的内容。如果标签里面只有唯一的一个标签了，那么 .string 也会返回最里面的内容：

print soup.head.string
#运行结果：
#The Dormouse's story
 
#第二种情况：
print soup.title.string
#运行结果：
#The Dormouse's story

如果tag包含了多个子节点,tag就无法确定，string 方法应该调用哪个子节点的内容, .string 的输出结果是 None：

print soup.html.string
#运行结果：
#None

（4）多个内容

.strings 获取多个内容，不过需要遍历获取，比如下面的例子：

for string in soup.strings:
  print(repr(string))

输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容：

for string in soup.stripped_strings:
  print(repr(string))

（5）父节点

p = soup.p
print p.parent.name
#运行结果：
#body
 
content = soup.head.title.string
print content.parent.name
#运行结果：
#title

（6）全部父节点

通过元素的 .parents 属性可以递归得到元素的所有父辈节点：

content = soup.head.title.string
for parent in content.parents:
  print parent.name

（7）兄弟节点

兄弟节点可以理解为和本节点处在统一级的节点，.next_sibling 属性获取了该节点的下一个兄弟节点，.previous_sibling 属性获取了该节点的上一个兄弟节点，如果节点不存在，则返回 None

注意：实际文档中的tag的 .next_sibling 和 .previous_sibling 属性通常是字符串或空白，因为空白或者换行也可以被视作一个节点，所以得到的结果可能是空白或者换行。

print soup.p.next_sibling
#    实际该处为空白
print soup.p.prev_sibling
#None  没有前一个兄弟节点，返回 None
print soup.p.next_sibling.next_sibling

（8）全部兄弟节点

通过 .next_siblings 和 .previous_siblings 属性可以对当前节点的兄弟节点迭代输出：

for sibling in soup.a.next_siblings:
  print(repr(sibling))

（9）前后节点

与 .next_sibling  .previous_sibling 不同，它并不是针对于兄弟节点，而是在所有节点，不分层次

#比如head节点为：

#那么它的下一个节点便是 title，它是不分层次关系的。
print soup.head.next_element
#

（10）所有前后节点

通过 .next_elements 和 .previous_elements 的迭代器就可以向前或向后访问文档的解析内容：

for element in last_a_tag.next_elements:
  print(repr(element))

4.  搜索文档树

（1）find_all( name , attrs , recursive , text , **kwargs )

find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

name 参数
      A.传字符串

name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉

最简单的过滤器是字符串.在搜索方法中传入一个字符串参数,Beautiful Soup会查找与字符串完整匹配的内容,下面的例子用于查找文档中所有的标签：

soup.find_all('b')
# [The Dormouse's story]

  B.传正则表达式

如果传入正则表达式作为参数,Beautiful Soup会通过正则表达式的 match() 来匹配内容.下面例子中找出所有以b开头的标签,这表示和标签都应该被找到

import re
for tag in soup.find_all(re.compile("^b")):
  print(tag.name)
# body
# b

 C.传列表

如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有标签和标签：

soup.find_all(["a", "b"])
# [The Dormouse's story,
# Elsie,
# Lacie,
# Tillie]

D.传 True

True 可以匹配任何值,下面代码查找到所有的tag,但是不会返回字符串节点：

for tag in soup.find_all(True):
  print(tag.name)
# html
# head
# title
# body
# p
# b
# p
# a
# a

  E.传方法

如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数  ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False。下面方法校验了当前元素,如果包含 class 属性却不包含 id 属性,那么将返回 True:

def has_class_but_no_id(tag):
  return tag.has_attr('class') and not tag.has_attr('id')

将这个方法作为参数传入 find_all() 方法,将得到所有

标签：

soup.find_all(has_class_but_no_id)
# [The Dormouse's story
,
# Once upon a time there were...
,
# ...
]

2）keyword 参数

如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性：

soup.find_all(id='link2')
# [Lacie]

如果传入 href 参数,Beautiful Soup会搜索每个tag的”href”属性：

soup.find_all(href=re.compile("elsie"))
# [Elsie]

使用多个指定名字的参数可以同时过滤tag的多个属性：

soup.find_all(href=re.compile("elsie"), id='link1')
# [three]

在这里我们想用 class 过滤，不过 class 是 python 的关键词，这怎么办？加个下划线就可以：

soup.find_all("a", class_="sister")
# [Elsie,
# Lacie,
# Tillie]

有些tag属性在搜索不能使用,比如HTML5中的 data-* 属性：

data_soup = BeautifulSoup('foo!