1. 大数据时代，数据来源
- 大型互联网公司，自己积累的数据
- 数据管理资讯公司：数据团队调研、问卷，专家对话等
- 政府/机构提供的公开数据
- 第三方数据平台购买数据
- 爬虫爬取数据
2. 什么是爬虫
搜素引擎底层就是爬虫。
爬虫就是抓取网页数据的程序。
3. 怎么抓取网页数据？
3.1 网页三大特征
- 每个网页都有唯一的url(统一资源定符号)来进行定位
- 网页都是用HTML(超文本标记语言：可以在网页中使用超链接)来描述页面信息。
- 网页都使用HTTP、HTTPS(超文本传输协议)来传输信息
3.2 爬虫设计思路
- 确定待爬虫的url
- 通过HTTP/HTTPS获取对应的HTML页面
- 提取HTML中有用的数据：有则保存；无则继续第二步
4. 为什么选择python爬虫？
PHP java c/c++ python等语言都可以爬虫。
PHP— 对多线程、异步支持不好，并发处理能力差，爬虫对速度和效率比较差。
Java — JAVA本身很笨重，代码量很大。重构成本较高，任何修改工作量较大，爬虫经常需要修改。
C/C++ — 运行效率和性能几乎最强，学习成本很高。代码成型较慢，用来写爬虫，大材小用。
python(胶水语言)是性价比最佳的爬虫语言。相关的HTTP请求模块和爬虫Scrapy，调用其它接口非常方便。
5. python爬虫
5.1 何如抓取HTML页面
HTTP请求的处理，相关库：urllib，urllibs，requests
处理后的请求可以模拟浏览器发送请求获取服务器响应的文件
5.2 解析服务器响应的内容
- 静态提取
使用某种描述性语言，对待提取的内容定义匹配规则，并提取相关内容，相关库: re, xpath, BeautifulSoup2(bs4)， jsonpath, pyquery等 - 动态提取以及验证码处理
通用的动态页面采集工具: Selenium(自动化工具，无界面) + PhantomsJS(可以模拟浏览器的功能，加载动态数据)；相关库： Tesseract(机器学习库，机器图像识别系统，处理简单的验证码，复杂的验证码需要手动输入)
5.3 爬虫框架
5.3.1 Scrapy框架
- 高定制性
- 高性能
应用了异步框架twisted，数据下载速度非常快，提供了数据存储，下载和提取规则(xpath)等组件
另一个框架为Pyspeder
5.4 分布式策略
5.4.1 scrapy-redis
在scrapy基础上，添加了以redis数据库为核心的一套组件，让scrapy框架支持分布式功能，主要在redis里请求指纹去重(保证分布请求不同)，请求分配(请求队列进行分布)，数据临时存储。
5.4 爬虫 反爬虫 反反爬虫之间的斗争
爬虫最复杂的不是复杂的页面或者数据，而是网站另一端的反爬虫的工作人员。
User-Agent，代理，验证码，动态数据加载，加密数据。
数据价值是否指的费劲做反爬虫？存在机器成本和人力成本。一般做到封IP就结束了。
面子的战争…
爬虫和反爬虫斗争，最后一定爬虫获胜！！ 只要用户能够浏览到的数据，都可以通过爬虫获得。
|