[Python知识库]爬虫学习笔记

通过此次学习爬虫，了解到以下一部分知识。

1.爬虫基本流程

（1）分析网站，导入相关库，得到目标url；

（2）根据url，发送请求，获取网页的html源码；

（3）从源码中获取数据；

（4）所有的目标url提取完毕，并且得到想要的数据，爬虫结束。

2.爬取网页的方法

爬虫爬取网页，可以采用深度优先搜索（采用栈）或是广度优先搜索（采用队列）的策略，不断爬取外链接，要注意外链接是否被访问过。

3.网页的三大特征

（1）每一个网页都有一个唯一的url(统一资源定位符),来进行定位；
（2）网页都是通过HTML(超文本)文本展示的；
（3）所有的网页都是通过HTTP＜超文本传输协议＞(HTTPS)协议来传输的。

步骤代码

1、导入相关库

# python读取网页的库

import urllib

2、获取网页的html

def getHTML(url):

# 类似于文件的打开

page = urllib.urlopen(url)

# 类似于文件的读取

html = page.read()

return html