[网络协议]1.爬虫系统学习--爬虫应知知识（后续还会更新）

1.爬虫在使用场景中的分类

通用爬虫

抓取系统重要组成部分。抓取的是一整张页面数据。

聚焦爬虫

是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。

增量式爬虫

检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

2.robots.txt协议

君子协议。规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。

3.常用请求头信息

• User-Agent：请求载体的身份标识
• Connection：请求完毕后，是断开连接还是保持连接

4.常用响应头信息

• Content-Type：服务器响应回客户端的数据类型