[网络协议]爬虫，HTTP HTTPS协议解析

一、基于爬虫解决方案的不足

1. 爬虫解决方案是面向数据响应的，爬虫系统在订单响应后工作，必须有订单请求后的响应结果才能捕获订单；商超系统使用的 HTTP 协议是无状态的通信协议，由多个请求响应对组成，各请求的响应对是否属于一
次会话，爬虫系统是无从得知的。

2. 爬虫方案面临大量间接响应的订单数据，多数商超的订单编号、订单头(供货时间、地点等)、订单体(各商品规格、数量等) 并不在一次请求中获得，而是分为多个请求，多个响应到达的顺序也不确定，响应内容格式也不统一(JSON、JAVASCRIPT、PDF 等)，爬虫方案是不生效的；如果要获取完成有效的订单，则需要商超系统方面提供可用的开发接口。

二、基于HTTP HTTPS协议解析方案

1.?前期工作相对比较困难，需要了解学习HTTP，HTTPS协议相关内容，需要分析cookies文件等等。

2.?突破HTTP HTTPS协议后，可以实时在线管理会话，避免反复登录。

3.数据获取更准确，效率更高，可以应对复杂界面，分页，滚动条，条件筛选，ajax动态加载等各种情况。支持批量操作，打印，下载，导出等。

4.方便与第三方系统对接。

5.可实现无人值守，全自动抓数据。