## python爬虫-BeautifulSoup库

python爬虫抛开其它，主要依赖两类库：HTTP请求、网页解析；这里requests可以作为网页请求的关键库，BeautifulSoup库则是网页内容解析的关键库；爬虫架构分为五部分：调度器、URL管理器、网页下载器、网页解析器、应用程序等。

requests库是通过封装urllib库的一个HTTP请求库，可以实现urllib绝大部分的功能且使用性高。BeautifulSoup库是第三方库，用来提取xml/html中的数据。

``` python3
#! python3

import requests
from bs4 import BeautifulSoup

responses = requests.get("https://www.baidu.com")
responses.encoding = "utf-8"
# bs解析对象
soup = BeautifulSoup(responses.text,"html.parser",from_encoding="utf-8")
# 获取所有a标签内容
links = soup.find_all('a')
for link in links:
print(link.name,link['href'],link.get_text())
```

**解析器**

bs4使用时需要指定一个解析器:

- html.parse:python自带，容错不高
- lxml:解析速度快需要额外安装 `pip install lxml`
- xml:同属lxml库，支持xml文档 `pip install lxml`
- html5lib:容错高，速度慢 `pip install html5lib`

**初始化操作：创建BeautifulSoup对象**

``` python
soup = BeautifulSoup(htmlText,'html.parser')
```
初始化操作会打开一个html文件/页面，创建一个BeautSoup对象，同时初始化要指定解析器。

BeautifulSoup对象即可按照标准缩进格式输出:`soup.prettify()`

**结构化数据**

- `soup.title`查看title标签（包含标签输出html）
- `soup.title.name`查看title标签的标签名
- `soup.title.string`查看title标签的text内容
- `soup.title.parent.name`查看title父标签名
- `soup.p`查看p标签（第一个）
- `soup.p['class']`查看p标签的属性内容
- `soup.find_all('a')`查看所有a标签（以列表返回）
- `soup.find(id="link3")`查看属性id='link3'的标签
- `soup.get_text()`获取文字内容

**对象种类**

bs4将html文档转换成一个复杂的树形结构，每个节点都将是python-bs4的对象，包括

- Tag对象：与html/xml中的tag相同；包含多种方法和属性；
- `tag.name` 获取tag的名字
- `tag.attributes` 获取标签的某个属性值`tag['class']`操作方法和字典相同，支持增删改查；
- 字符串对象：字符串包含在tab内；字符串对象不支持其它方法。
`tag.string`获取标签内的text文本内容
- BeautifulSoup对象标识一个文档的全部内容
- 特殊对象：注释内容对象

**遍历文档树**

我们可以通过点`.`取方式，获取子节点以及子节点的子节点直至没有子节点，但这种方法只可以获取第一个子节点；可以使用`.find_all()`可以当前节点下指定的所有tab节点

`.contents` 将当前tag的子节点以列表方式输出
`.children` 实现对tag子节点进行循环
`.descendants` 实现对所有子孙节点的递归循环
`.string` 当tag只有一个字符串对象时使用
`.strings` tag包含多个字符串使用，循环获取；可以使用`.stripped_strings`去除多余的空白内容

`.parent` 当前节点的父节点
`.parents` 递归获取元素的所有父节点

`.next_sibling` 遍历所有兄弟节点（之后的所有兄弟节点）`.next_siblings`
`.previous_sibling` 遍历所有兄弟节点（之前的所有兄弟节点）`.previous_siblings`

**搜索文档树**

`.find_all( name , attrs , recursive , string , **kwargs )`

`.find( name , attrs , recursive , string , **kwargs )`

> 支持字符串、正则、列表、true、自定义方法

`.limit`支持定义搜索范围和数量
`.recursive`局限范围只搜索直接子节点

其它……[搜索文档树](https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id27)

**输出**

`.prettify()`格式化输出
`.unicode()`/`str()`压缩格式输出

`.get_text()`输出文本内容

我的博客即将同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=2t9x6jeycjgg8