[大数据]逆向爬虫18 Scrapy抓取全站数据和Redis入门

逆向爬虫18 Scrapy抓取全站数据和Redis入门

一、全站数据抓取

1. 什么是抓取全站数据？

我们曾经在过猪八戒，图片之家，BOSS直聘等网站，利用网站官方提供的搜索功能，搜索指定关键词的内容，并把这些内容都抓取下来。现在我们来总结一下这些网站信息的共同点。

1. 利用浏览器访问指定网站，并在官方的搜索栏中搜索想要的内容信息。
2. 服务器返回一系列页面列表，每个页面内包含着若干条被搜索内容的简介信息。
3. 逐条点击这些简介信息的网页链接就可以获得该条信息的详情内容。
4. 对服务器返回的每个页面列表均执行步骤3，直到页面列表全都遍历完成。

上图描述了全站数据抓取的基本模型，这个是个可以应用于很多网站，需求场景的通用模型，因此Scrapy专门针对这种情况专门写了一个全站数据抓取的案例，使我们只需要去关注简介信息，详情信息，页面列表翻页按钮这些每个网站不同的东西，而无需再编写这套通用的抓取数据业务逻辑的控制。总之，Scrapy想尽办法把通用的功能抽象出来只写一次，不通用的地方留出接口供用户自己实现。

本节使用汽车之家二手车页面来介绍如何进行全站数据抓取。

2. Scrapy传统的全站数据抓取

这部分内容之前做过，直接开干。

开始动手：

scrapy startproject qiche	# 创建汽车项目
cd qiche	# 进入qiche项目根目录
scrapy genspider ershouche che168.com	# 创建ershouche爬虫

代码说明：

ershouche.py文件

settings.py文件

源码展示：

ershouche.py源码

import scrapy
from scrapy.linkextractors import LinkExtractor

class ErshoucheSpider(scrapy.Spider):
    name = 'ershouche'
    allowed_domains = ['che168.com', 'autohome.com.cn']
    start_urls = ['https://www.che168.com/china/list/#pvareaid=110965']
    def parse(self, resp):
        print(resp.url)
        print(resp.xpath('//title/text()').extract_first().strip())   # 获取页面标题
        # hrefs = resp.xpath('//ul[@class="viewlist_ul"]/li/a/@href').extract()
        # for href in hrefs:
        #     # print(href)   # 打印下看看
        #     yield scrapy.Request(
        #         url=resp.urljoin(href),
        #         callback=self.parse_detail
        #     )
        # scrapy 还提供了链接提取器的东西，也可以帮我们提取到页面中的超链接
        le = LinkExtractor(restrict_xpaths=('//ul[@class="viewlist_ul"]/li/a',))
        links = le.extract_links(resp)  # 提取链接
        for link in links:
            # print(link)     # 打印下看看
            # print(link.text.replace(" ","").strip())    # 打印下看看
            # print(link.url)     # 打印下看看
            yield scrapy.Request(
                url=link.url,
                callback=self.parse_detail
            )
        # 开始分页
        page_le = LinkExtractor(restrict_xpaths=("//div[@id='listpagination']/a",))
        pages = page_le.extract_links(resp)
        for page in pages:
            yield scrapy.Request(
                url=page.url,   # 重复的url没关系. scrapy自动的帮我们完成去除重复
                # dont_filter=True,  # 不过滤 - 直接扔队列  别乱加
                callback=self.parse		# 下一页的内容和当前页一致. 然后数据解析的过程和当前页一致
            )

    def parse_detail(self, resp):
        try:
            print(resp.url)
            print(resp.xpath('//title/text()').extract_first().strip())   # 获取页面标题
        except Exception as e:
            # 有的是手机页面，不对
            print(resp.url)
            print("上面的URL报错了")

3. Scrapy CrawlSpider全站数据抓取

开始动手：

scrapy genspider -t ershou che168.com	# 创建ershou CrawlSpider爬虫

代码说明：

ershou.py文件

源码展示：

ershou.py源码

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

class ErshouSpider(CrawlSpider):    # CrawlSpider也继承了Spider，所以从根本上讲，ErshouSpider依然是一个Spider
    name = 'ershou'
    allowed_domains = ['che168.com', 'autohome.com.cn']
    start_urls = ['https://www.che168.com/china/list/#pvareaid=110965']

    rules = (   # rule 规则，这里定义了一堆规则，要求必须是元组或者列表
        # Rule: 规则对象
        Rule(LinkExtractor(restrict_xpaths=('//ul[@class="viewlist_ul"]/li/a')), callback='parse_item', follow=False),
        Rule(LinkExtractor(restrict_xpaths=("//div[@id='listpagination']/a")), follow=True),
    )

    # 这里不能自己写parse, parse由crawlSpider提供
    def parse_item(self, resp):
        # 处理页面详情
        if "topicm.che168.com" not in resp.url:
            try:
                title = resp.xpath("//h3[@class='car-brand-name']/text()").extract_first()
                price = resp.xpath("//span[@id='overlayPrice']/text()").extract_first()
                if not title:
                    title = resp.xpath("//h3[@class='car-brand-name']/i[@class='icon-cxc']/text()").extract_first()
                if not price:
                    price = resp.xpath("//div[@class='goodstartmoney']/text()").extract_first()
                title = title.replace(" ","").strip()
                price = price.replace(" ","").strip()
                print(title, price)
                with open("title_price.txt", mode="a", encoding="utf-8") as f:
                    f.write(f"{title},{price},{resp.url}\n")
            except Exception as e:
                print(f"{resp.url} 出错了")
                print(e)
                with open("error.txt", mode="a", encoding="utf-8") as f:
                    f.write(f"{resp.url} 出错了\n")
                    f.write(f"{e}\n")

4. 小结

使用Scrapy中的CrawlSpider模板可以帮我们快速的抓取全站数据，用起来很方便。

二、Redis简单使用

redis作为一款目前这个星球上性能最高的非关系型数据库之一。拥有每秒近十万次的读写能力，其实力只能用恐怖来形容。

1. 安装redis

redis是我见过这个星球上最好安装的软件了。比起前面的那一坨。它简直了…

直接把压缩包解压。然后配置一下环境变量就可以了。

接下来, 在环境变量中将该文件夹配置到path中。

我们给redis多配置几个东西(修改redis的配置文件, mac是: redis.conf, windows是: )

1. 关闭bind

   # bind 127.0.0.1 ::1  # 注释掉它
   

2. 关闭保护模式 windows不用设置

   protected-mode no    # 设置为no
   

3. 设置密码

   requirepass 123456   # 设置密码
   

将redis怼到windows服务必须进入到redis目录后才可以

# 将redis安装到windows服务
redis-server.exe --service-install redis.windows.conf --loglevel verbose
# 卸载服务：
redis-server --service-uninstall
# 开启服务：
redis-server --service-start
# 停止服务：
redis-server --service-stop

使用redis-cli链接redis

redis-cli -h ip地址 -p 端口 --raw   # raw可以让redis显示出中文
auth 密码   # 如果有密码可以这样来登录, 如果没有.不用这一步

附赠RDM, redis desktop manager。可以帮我们完成redis数据库的可视化操作(需要就装, 不需要就算)

2. redis常见数据类型

redis中常见的数据类型有5个。

命令规则: 命令 key 参数

string

字符串(它自己认为是字符串, 我认为是任何东西。), redis最基础的数据类型。

常用命令

set key value  # 添加一条数据
get key		   # 查看一条数据
incr key       # 让该key对应的数据自增1(原子性, 安全)
incrby key count     # 让该key对应的value自增 count 
type key		# 查看数据类型(set进去的东西一律全是字符串)

例如

set name zhangsan  # 添加数据  name = zhangsan
get name		# 查看数据 zhangsan

set age 10
get age 	# 10
incr age	# 11
get age 	# 11
incrby age 5	# 16

hash

哈希, 相当于字典。

常见操作

hset key k1 v1   # 将k1, v1存储在key上
hget key k1      # 将key上的k1提取出来
hmset key k1 v1 k2 v2 k3 v3.... # 一次性将多个k,v存储在key
hmget key k1 k2....# 一次性将key中的k1, k2...提取出来
hgetall key 	# 一次性将key中所有内容全部提取
hkeys key		# 将key中所有的k全部提取
hvals key 		# 将key中所有的v全部提取

示例:

HMSET stu id 1 name sylar age 18
HMGET stu name age   # syalr 18
HGETALL stu		    # id 1 name sylar age 18
HKEYS stu 	# id name age
HVALS stu   # 1 syalr 18

list

列表, 底层是一个双向链表。可以从左边和右边进行插入。记住每次插入都要记得这货是个双向链表

常见操作

LPUSH key 数据1 数据2 数据3.... # 从左边插入数据
RPUSH key 数据1 数据2 数据3.... # 从右边插入数据
LRANGE key start stop     # 从start到stop提取数据. 

LLEN key	# 返回key对应列表的长度
LPOP key        # 从左边删除一个.并返回被删除元素
RPOP key		# 从右边删除一个.并返回被删除元素

示例:

LPUSH banji yiban erban sanban siban
LRANGE banji 0 -1   # yiban erban sanban siban
RPUSH ban ban1 ban2 ban3
LRANGE ban 0 -1     # ban1 ban2 ban3
LPOP ban  # ban1
LLEN key  # 2

set

set是无序的超大集合。无序, 不重复。

常见操作

SADD key 值   # 向集合内存入数据
SMEMBERS key  # 查看集合内所有元素
SCARD key # 查看key中元素的个数
SISMEMBER key val  # 查看key中是否包含val
SUNION key1 key2  # 并集
SDIFF key1 key2  # 差集合, 在key1中, 但不在key2中的数据
SINTER key1 key2 # 计算交集, 在key1和key2中都出现了的
SPOP key  # 随机从key中删除一个数据
SRANDMEMBER key count # 随机从key中查询count个数据

实例:

SADD stars 柯震东 吴亦凡 张默 房祖名   # 4
SADD stars 吴亦凡    # 0. 重复的数据是存储不进去的.
SMEMBERS stars   # 柯震东 吴亦凡 张默 房祖名
SISMEMBER stars 吴亦凡  # 吴亦凡在 stars里么?  1 在  0 不在

SADD my 周杰伦 吴亦凡 房祖名  
SINTER stars my  # 计算交集  吴亦凡 房祖名

SPOP my  # 随机删除一个
SRANDMEMEBER my 2   # 从集合总随机查看2个

zset

有序集合, 有序集合中的内容也是不可以重复的。并且存储的数据也是redis最基础的string数据。但是在存储数据的同时还增加了一个score。表示分值。redis就是通过这个score作为排序的规则的。

常用操作

ZADD key s1 m1 s2 m2 ... # 向key中存入 m1 m2 分数分别为s1 s2
ZRANGE key start stop [withscores]   # 查看从start 到stop中的所有数据 [是否要分数]
ZREVRANGE key start stop # 倒叙查看start到stop的数据
ZCARD key   # 查看zset的数据个数
ZCOUNT key min max  # 查看分数在min和max之间的数据量
ZINCRBY key score member  # 将key中member的分值score
ZSCORE key m  # 查看key中m的分值

示例:

ZADD fam 1 sylar 2 alex 3 tory  # 添加三个数据
ZRANGE fam 0 -1 WITHSCORES # 正序查看
ZREVRANGE fam 0 -1 WITHSCORES   # 倒叙查看
ZINCRBY fam 10 alex  # 给alex加10分
ZADD fam 100 alex   # 给alex修改分数为100分
ZSCORE fam alex   # 查看alex的分数
ZCARD fam    # 查看fam的数据个数

redis还有非常非常多的操作。我们就不一一列举了。各位可以在网络上找到非常多的资料。

各位大佬们注意。数据保存完一定要save一下, 避免数据没有写入硬盘而产生的数据丢失

3. python搞定redis

? python处理redis使用专用的redis模块。同样的, 它也是一个第三方库.

pip install redis

? 获取连接(1)

from redis import Redis

red = Redis(host="127.0.0.1",  # 地址
            port=6379,   # 端口
            db=0,   # 数据库
            password=123456,  # 密码
            decode_responses=True)  # 是否自动解码

? 获取连接(2)

pool = redis.ConnectionPool(
        host="127.0.0.1",  # 地址
        port=6379,   # 端口
        db=0,   # 数据库
        password=123456,  # 密码
        decode_responses=True
)

r = redis.Redis(connection_pool=pool)
print(r.keys())

? 我们以一个免费代理IP池能用到的操作来尝试一下redis

# 存入数据
red.set("sylar", "邱彦涛")
# 获取数据
print(red.get("sylar"))

lst = ["张三丰", "张无忌", "张翠山", "张娜拉"]
red.lpush("names", *lst)  # 将所有的名字都存入names

# # 查询所有数据
result = red.lrange("names", 0, -1)
print(result)

# 从上面的操作上可以看出. python中的redis和redis-cli中的操作是几乎一样的

# 接下来, 咱们站在一个代理IP池的角度来分析各个功能
# 抓取到了IP. 保存入库
red.zadd("proxy", {"192.168.1.1": 10, "192.168.1.2": 10})
red.zadd("proxy", {"192.168.1.3": 10, "192.168.1.6": 10})
red.zadd("proxy", {"192.168.1.4": 10, "192.168.1.7": 10})
red.zadd("proxy", {"192.168.1.5": 10, "192.168.1.8": 10})

# 给某一个ip增加到100分
red.zadd("proxy", {"192.168.1.4": 100})

# 给"192.168.1.4" 扣10分
red.zincrby("proxy", -10, "192.168.1.4")

# 分扣没了. 删除掉它
red.zrem("proxy", "192.168.1.4")

# 可用的代理数量
c = red.zcard("proxy")
print(c)
# 根据分值进行查询(0~100)之间
r = red.zrangebyscore("proxy", 0, 100)
print(r)

# 查询前100个数据(分页查询)
r = red.zrevrange('proxy', 0, 100)

# 判断proxy是否存在, 如果是None就是不存在
r = red.zscore("proxy", "192.168.1.4")
print(r)