[Python知识库]python可以用那些技术来实现爬虫？这里就有

最近学习了用python语言写的爬虫，在惊叹于python强大的同时，也真真实实感谢那些为开源做出贡献的前辈。在这个知识付费的时代，真的是不容易。

在这里我就对python爬虫进行一个系统的阐述，介绍其python丰富的爬虫实现方法。

1.爬虫的原理?

爬虫就是追寻着url，不断地进行请求，并且解析获得的相应，然后解析响应，获得自己想要的数据的网络机器人。

?

2.python丰富的爬虫库

2.1获取请求的库：

urlib3(现在基本没用)

使用文档：用户指南 - urllib3 1.26.7 文档https://www.osgeo.cn/urllib3/user-guide.html

urllib库（最原始的一个库，官方解释功能要有的都有，但是个人操作感觉，现在网站用这个库抓取总是会失败）

使用文档：requestshttps://www.cnblogs.com/sherlockChen/p/8064896.html

requests库（也挺好的）

使用文档：：requets-htmlhttps://docs.python-requests.org/zh_CN/latest/user/quickstart.html

requests-html（一个非常方便的二次封装库，代码最少我的最爱）

使用文档：requests-html - 简书

2.2解析请求的库：

re库（比较难用）

使用文档：Python 正则表达式 | 菜鸟教程 (runoob.com)https://www.runoob.com/python/python-reg-expressions.html

beautifulsoup库（流行的解析库）

使用文档：https://beautifulsoup.readthedocs.io/zh_CN/latest/

2.3储存数据的库：

sqllit（使用python标准模块sqllite3来操作）

使用文档：使用 SQLite 3 — Flask 中文文档 (2.0.2) (dormousehole.readthedocs.io)https://dormousehole.readthedocs.io/en/latest/patterns/sqlite3.html

MYSQL(使用pymysql模块来操作，大型数据储存比较合适)

使用文档：Python之pymysql的使用 - liubinsh - 博客园 (cnblogs.com)https://www.cnblogs.com/liubinsh/p/7568423.html

最后如果想要构建一个功能强大的爬虫工程：那就用

scrapy爬虫框架吧！相信他会给你想要的。