python爬虫——基础知识
一、网页基础知识
在编写爬虫程序之前首先要了解一些必要的网页知识
二、爬虫的思路
- 提取数据来源：
- HTML文档
- josn 数据
1、HTML文档（超文本）
每一份网页都是一份HTML文档，是一种文本标记语言
由一系列标签组成：（如图）
我们要爬取的内容大部分都是便签里的 .text文本
常规操作
* 1、打开一个网页，即通过了Http协议，对一个资源进行了请求，返还一份HTML文档
* 2、浏览器 进行文档的渲染，形成一个网页
* 3、模拟浏览器，发送一份请求，获取文档，提取需要的数据（爬虫要做的）
通用爬虫、聚焦爬虫工作流程：
三、ROBOTS协议
Robots协议：网站通过Robots协议告诉 搜索引擎 哪些页面可以抓取，那些页面不可以抓取
例如：http://www.tobo.com/tobots.txt（淘宝网的Robots协议文档）
看一下这个协议的内容：
限制百度引擎下的爬虫爬取淘宝网的全部内容
这个是通过反爬虫策略实现的，
对于反爬虫策略，我们也有 反反爬虫策略，搞他！
四、浏览器发送HTTP请求的过程
http 超文本传输协议
https 用SSL层加密的超文本传输协议
浏览器渲染出来的页面 和 爬虫请求的页面并不一样
1、http请求过程
比如：https://www.baidu.com/，用Chrome 浏览器的开发者模式下的Network 监听组件来做下演示，它可以显示访问当前请求网页时发生的所有网络请求和响应。
- 打开Chrome 浏览器，输入链接https://www.baidu.com/
- 右击并选择“检查”项，即可打开浏览器的开发者工具，结果如下图所示
- 第一列Name ：请求的名称，一般会将URL 的最后一部分内容当作名称。
- 第二Status ：响应的状态码，这里显示为200 ，代表响应是正常的。通过状态码，我们可以判断发送了请求之后是否得到了正常的响应。
- 第二Status ：响应的状态码，这里显示为200 ，代表响应是正常的。通过状态码，我们可以判断发送了请求之后是否得到了正常的响应。
- 第三列Type ：请求的文梢类型。这里为document ，代表我们这次请求的是一个HTML 文档，内容就是一些HTML 代码。
- 第四列Initiator ：请求源。用来标记请求是由哪个对象或进程发起的。
- 第五列Size ：从服务器下载的文件和请求的资源大小。如果是从缓存中取得的资源，则该列会显示from cache 。
- 第六列Time ：发起请求到获取响应所用的总时间。
- 第七列Waterfall：网络请求的可视化瀑布流。
2、请求
在爬取数据的时候要模拟浏览器请求，那么就要创建一个请求
请求：由客户端向服务端发出，可以分为4 部分内容：请求方法（Request Method ）、请求的网址( Request URL ）、请求头（Request Headers ）、请求体（Request Body ）
- 请求方法（Request Method ）
常见的请求方法有两种：GET 和POST 。- 在浏览器中直接输入URL 并回车，这便发起了一个GET 请求，请求的参数会直接包含到URL里
例如，在百度中搜索Python ，这就是一个GET 请求，链接为https://www.baidu.corn/s?wd= Python ,其中URL 中问号后面为请求的参数信息，这里参数wd表示要搜寻的关键字。 - POST 请求大多在表单提交时发起。比如，对于一个登录表单，输入用户名和密码后，点击“登录”按钮，这通常会发起一个POST请求，其数据通常以表单的形式传输，而不会体现在URL 中。
- 在浏览器中直接输入URL 并回车，这便发起了一个GET 请求，请求的参数会直接包含到URL里
-
GET 和POST 请求方法有如下区别
- GET 请求中的参数包含在URL 里面，数据可以在URL 中看到，而POST 请求的URL 不会包含这些数据，数据都是通过表单形式传输的，会包含在请求体中
- GET 请求提交的数据最多只有1024 字节，而POST 方式没有限制。
-
一般来说，登录时，需要提交用户名和密码，其中包含了敏感信息，使用GET 方式请求的话，密码就会暴露在URL 里面，造成密码泄露，所以这里最好以POST 方式发送。
-
上传文件时，由于文件内容比较大，也会选用POST 方式。
- 请求的网址( Request URL ）
请求的网址，即统一资惊定位符URL ，它可以唯一确定我们想请求的资源。
- 请求头（Request Headers ）
请求头是请求的重要组成部分，在写爬虫时，大部分情况下都需要设定请求头。
请求头，用来说明服务器要使用的附加信息，比较重要的信息有Cookie 、Referer 、User-Agent 等。下面简要说明一些常用的头信息。- Accept ：请求报头域，用于指定客户端可接受哪些类型的信息。
- Accept-Language ：指定客户端可接受的语言类型。
- Accept-Encoding ：指定客户端可接受的内容编码。
- Host ：用于指定请求资源的主机IP 和端口号，其内容为请求URL 的原始服务器或网关的位置。从HTTP 1. l 版本开始，请求必须包含此内容。
- Referer ：此内容用来标识这个请求是从哪个页面发过来的，服务器可以拿到这一信息并做相应的处理，如做来源统计、防盗链处理等。
- User-Agent ：简称UA ，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息，可以伪装为浏览器；如果不加，很可能会被识别为爬虫。
- Content-Type ：也叫互联网媒体类型（Internet Media Type ）或者MIME 类型，在HTTP 协议消息头中，它用来表示具体请求中的媒体类型信息。例如，text/html 代表HTML 格式，image/gif代表GIF 图片，app lication/json 代表JSON 类型，更多对应关系可以查看此对照表：http://tool.oschina.neνcommons 。
在爬虫中，如果要构造POST 请求，需要使用正确的Content-Type ，并了解各种请求库的各个参数设置时使用的是哪种Content-Type ，不然可能会导致POST 提交后无法正常响应。 - Cookie ：也常用复数形式Cookies ，这是网站为了辨别用户进行会话跟踪而存储在用户本地的数据。它的主要功能是维持当前访问会话。
例如，我们输入用户名和密码成功登录某个网站后，服务器会用会话保存登录状态信息，后面我们每次刷新或请求该站点的其他页面时，会发现都是登录状态，这就是Cookies 的功劳。Cookies 里有信息标识了我们所对应的服务器的会话，每次浏览器在请求该站点的页面时，都会在请求头中加上Cookies 并将其发送给服务器，服务器通过Cookies 识别出是我们自己，并且查出当前状态是登录状态，所以返回结果就是登录之后才能看到的网页内容。*
- 请求体
请求体－般承载的内容是POST 请求中的表单数据，而对于GET 请求，请求体则为空。
五、SSL连接错误
http 超文本传输协议
https 用SSL层加密的超文本传输协议
当我呢执行爬虫传入一个访问请求时可能会遇到：
- 没有SSL层加密，被浏览器提示不安全
- 有些网站使用了https，还是会提示不安全，是因为此网站的CA证书是自行签发的，不被CA机构信任
爬取此类站点，要设置忽略证书选项，否则会提示SSL连接错误
六、HTML标签层级结构
在HTML 中，所有标签定义的内容都是节点，它们构成了一个HTML DOM 树。
七、选择器
CSS 选择器会根据不同的节点设置不同的样式规则，来定位节点
更多定位规则可查看：https://www.runoob.com/cssref/css-selectors.html
八、会话Cookies
Cookies的作用和维持
九、代理的基本原理
反反爬虫：
对于爬虫来说，由于爬虫爬取速度过快，在爬取过程中可能遇到同一个IP 访问过于频繁的问题，此时网站就会让我们输入验证码登录或者直接封锁IP ，这样会给爬取带来极大的不便
代理：实现IP 伪装，反反爬虫
使用代理隐藏真实的IP ，让服务器误以为是代理服务器在请求向己。这样在爬取过程中通过不断更换代理，就不会被封锁，可以达到很好的爬取效果。