scrapy
步骤
- 编写item（item可以理解为java bean）
- 使用scrapy shell ‘url’来在命令行中使用response.xpath()来检查想要的数据
- 编写spider，通过上述得到的xpath表达式来填充
- 编写pine，进行存取数据库的操作
- 到源文件目录下通过scrapy crawl huxiu (-o 保存文件)来运行程序
知识点
yield
参考
http://brucedone.com/archives/58
http://kevinflynn.iteye.com/blog/2230990
https://segmentfault.com/q/1010000007903519
模拟请求
requests和urllib2
html解析
- beautiful soup
- 前者使用的是正则表达式来实现的，可以看它源码实现
- https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#
- lxml
- 使用的是xml节点的查找，速度而言，lxml是优于beautifulsoup，而且更加通用。
spynner
动态页面请使用 spynner，内置 webkit 引擎
爬取微博数据
response.xpath(’//div[@class=“c”]’).extract()
https://weibo.cn/chengdujiaojing
|