[Python知识库]BeautifulSoup 利用Find_all（）多级标签索引和获取标签中的属性内容

BeautifulSoup详解

BeautifulSoup是Python爬虫常用的一个库，起到解析页面的功能。但是我们课上的老师没有把这个库详细的讲，所以我利用网上的资源自己整合一下，写一篇Blog来学习一下~

首先是BeautifulSoup库的安装：

命令行运行:

pip3 install beautifulsoup4

BeautifulSoup的解析器：
我们常用html.parser解析器

• 文章以以海南大学起点论坛为例

标准选择器

find_all( name , attrs , recursive , text , **kwargs )

可根据标签名、属性、内容查找文档。

部分常用方法

• find
  find用法和findall一模一样，但是返回的是找到的第一个符合条件的内容输出。

• find_parents()， find_parent()
  find_parents()返回所有祖先节点，find_parent()返回直接父节点。

• find_next_siblings() ,find_next_sibling()
  返回后面的所有兄弟节点，2返回后面的第一个兄弟节点

• find_previous_siblings(),find_previous_sibling()
  返回前面所有兄弟节点…

• find_all_next(),find_next()
  返回节点后所有符合条件的节点，2返回后面第一个符合条件的节点

• find_all_previous()和find_previous()

代码：

from bs4 import BeautifulSoup
import urllib
from urllib import request

url = 'http://www.ihain.cn/forum.php?mod=guide&view=newthread'
headers ={}
headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31'
req = request.Request(url,None,headers = headers)
response = request.urlopen(req)
# 获得response对象
html = BeautifulSoup(response,'html.parser')

ul = html.find_all('ul')    #查找ul标签下的内容、嵌套选择
for li in ul:
    print(li.find_all('li'))

# 属性选择：

titles = html.find_all(class_ = 'xst')
for title in titles:
    print(title.text)

# 使用find_all方法的atters参数定义一个字段参数来搜索多个属性

content = html.find(attrs={'class':'p_opt','id':'card_1550_menu_content'})
print(content)

find(name, attrs, recursive, text, wargs)

常用参数：

**2. find_all **
返回所有匹配到的结果，区别于find（find只返回查找到的第一个结果）
语法：
find_all(name, attrs, recursive, text, limit, kwargs)

多级索引：

查找目标：

对应的html:

我们希望通过索引能够得到以下内容：

列表内容序号：

我们逐步寻找内容，找到我们想要的：

对应代码：

from bs4 import BeautifulSoup
import urllib
from urllib import request

url = 'http://www.ihain.cn/forum.php?mod=guide&view=newthread'
headers ={}
headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31'
req = request.Request(url,None,headers = headers)
response = request.urlopen(req)
# 获得response对象
html = BeautifulSoup(response,'html.parser')
#find_all索引多级标签：
div = html.find_all('div',id = 'nv')
#返回的div是一个列表

# print(div[0].contents[1],'\n')
# print(div[0].contents[2],'\n')
# print(div[0].contents[3],'\n')

print(div[0].contents[3],'\n') #继续往下索引

print(div[0].contents[3].contents[1])#ul下的第二个li

print(div[0].contents[3].contents[1].contents[0])#ul下的第二个li下的第一个内容即<a>标签及其内容

print(div[0].contents[3].contents[1].contents[0].text)  #<a>的文本内容（起点百事通）

print(div[0].contents[3].contents[1].contents[0].get('href'))   #对应的链接内容

至此 BeatifulSoup的find_all的查找基本上已经可以满足查找需求了 ，但是更方便查找的是Xpath等方式，这是另一种查找内容的方式，本篇不做介绍~

如果本篇文章对你有帮助的话记得点个赞哦~