| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> Python知识库 -> 爬虫BeautifulSoup的学习(上) -> 正文阅读 |
|
[Python知识库]爬虫BeautifulSoup的学习(上) |
BeautifulSoup是爬虫中应用到模块,可以用于爬取网页中的数据,通常与request一起使用。 爬虫学习的四部曲:获取数据——解析数据——提取数据——保存数据。 第一步:获取数据 获取到需要爬取数据的URL,这里会用到request库中的get()方法,具体使用为: # 引入requests库 import requests url = 'https://movie.douban.com/' #豆瓣首页 res = requests.get(url) 也可以写为:res = requests.get('https://movie.douban.com/' 这时res的的类型为:<class 'requests.models.Response'> ,这样的数据类型并不好处理,因此我我们需要把它转换为字符串。直接用res,text就可以得到结果,这时的数据类型为:<class 'str'> 第二步:解析数据 第一步已经获取到了要爬取网站的字符串信息,现在可以开始解析数据了,解析数据一行代码就可搞定:bs = BeautifulSoup(res.text,'html.parser') ?查看bs的类型:<class 'bs4.BeautifulSoup'>,打印bs的数据会发现得到的解析数据与res.text得到的结果一样,是因为在打印的时候调用了BeautifulSoup中的str方法,因此看到的结果是一样的。 第三步:提取数据 BeautifulSoup中常用知识点:find()与find_all()和Tag对象 ps:在使用这两个知识点时,需要了解HTML的基本知识和查看网页数据的基本方法,才能更好的获取到自己想的数据 ?通过这两个方法得到的网页数据是一个Tag对象,并不是我们想要的数据,因此我们继续对数据进行处理, 我们先查看这个Tag是什么类型:<class 'bs4.element.ResultSet'> ,通过百度查找之后发现这个类型居然是个列表,列表就可以通过循环得到的想要的数据啦! ?为三部曲放上完整的图 ?注:图片引用风变编程里面的课程 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/15 14:39:45- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |