|
一、初来乍到-体验
安装scrapy
pip install scrapy
安装 twisted依赖
pip install pywin32
尽量下载和电脑一样的操作系统65win64
下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
安装 wheel
pip install wheel
1.创建scrapy项目
命令行
scrapy startproject ershouche
2.创建scrapy爬虫项目
创建之前进入scrapy项目目录
cd ershouche
命令行
scrapy genspider cars www.che168.com
创建后在spider目录下有个叫cars的文件的爬虫
#注意这里要替换掉成要爬取的网址
start_urls = [‘https://www.che168.com/china/fengtian/#pvareaid=108402#listfilterstart’]
def parse(self, response):
print(‘数据抓回来了’)
print(response.status)
print(‘数据解析玩成’)
命令行运行代码
scrapy crawl cars
打印关键字 日志过滤
scrapy crawl cars -L ERROR
数据抓回来了
200
数据解析玩成
改下爬虫
scrapy genspider news www.che168.com
|