[大数据]redis概述

redis

概览

1. 是一个单进程单线程模型的基于内存的高性能的key-value内存型数据库

2. 支持数据的持久化,提供string,list，set，zset(sortedset)，hash等数据结构的存储,支持主从备份,3.x后分布式布署操作原子性,丰富的实用特性，如订阅-发布模式(可替换Kafka)，生产者消费者模式，key过期等常用易用的模式

3. 主要场景是加速客户端访问速度或其它要加速提效的功能点,做一些缓存或限时任务等

4. java操作redis,加入jedis依赖

   • 测试流程
   1. 链接上redis,new一个jedis对象,传ip和端口号,再.auth传入密码
   2. 相关操作,添加数据,操作数据
   3. 关闭链接.close
   • 封装成工具类
   1. 构造方法里传入ip,端口号,和密码生成一个jedis对象
   2. 封装常用的set,get方法,方便调用
   3. 类里声明一个私有的jedis对象,因为他有很多种方法,封装不过来的,想用的话就用对象来.方法

一 介绍

是一个高性能的key-value内存型数据库,Redis 是完全开源免费的，遵守BSD协议

架构

1. 单进程单线程模型的KV数据库
   • 多线程可能用到锁
   • 多线程处理会涉及线程切换消耗CPU
   • redis可以通过在单机开多个Redis实例来完善发挥多核CPU性能
2. 完全基于内存，但提供数据持久化功能
3. 数据结构简单，对数据操作也简单
4. 使用多路 I/O 复用模型（网络io事件模型-epoll）
   • 网络IO都是通过Socket实现，Server在某一个端口持续监听，客户端通过Socket（IP+Port）与服务器建立连接（ServerSocket.accept），成功建立连接之后，就可以使用Socket中封装的InputStream和OutputStream进行IO交互。针对每个客户端，Server都会创建一个新线程专门用于处理该客户端的IO请求
   • 默认情况下，网络IO是阻塞模式，即服务器线程在数据到来之前处于【阻塞】状态，等到数据到达，会自动唤醒服务器线程，着手进行处理。阻塞模式下，一个线程只能处理一个流的IO事件
   • 5种网络IO模式
     • 阻塞IO、非阻塞IO、IO复用模型、信号驱动IO、异步IO模型
     • IO复用模型中包括：select模式、poll模式、epoll模式（event poll模式），其中epoll是select和poll模型的升级优化，使得一个线程可以最大限度、最高效的监听和响应更多路客户端的IO请求

二 特点

1. 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候自动再次加载进行使用。

2. 既支持key-value类型的数据操作(string)，还提供list，set，zset，hash等数据结构的存储。

3. 支持数据的主从备份，采用master-slave模式的主从备份。

4. 新版3.x也支持分布式布署模式，真正实现了数据块的分布式存储与响应。

5. 性能极高–Redis读的速度是11万次/s,写的速度是8万次/s。

6. 所有操作均为原子性操作

7. 丰富的实用特性，如订阅-发布模式，生产者消费者模式，key过期等常用易用的模式。

8. 三种运行模式

• 单机布署

• 主备布署

• 分布式布署

9. 相关竞品组件

• MemoryCache-kv型缓存数据库 ：单进程多线程模型
• Apache Ignite-分布式关系型缓存数据库

三 应用场景

###目标：加速客户端访问速度或其它要加速提效的功能点

1. 缓存一些静态数据
2. 缓存一些不经常变化数据
3. 缓存一些高耗时计算的数据
4. 缓存一些预计算的数据
5. 充当中间件，做系统模块或子系统之间的解耦使用

• Springboot集成echarts词云图项目之前端加速

词云列表在web端展示时候，将一直从数据库查询操作，改到第一次从数据库查询，后续查redis的操作，体验速度的提升情况

• 舆情热点挖掘大项目之前端加速

热点挖掘在web端展示时候，将一直从数据库查询操作，改到第一次从数据库查询，后续查redis的操作，体验速度的提升情况

• 高级爬虫之redis中间件存储与系统解耦应用

用redis作为爬虫的已采集任务对象集合的第三方存储，省去从数据库恢复已采集任务对象集合。

用redis将分布式采集器中的主和从节点的交互解耦，不再需要直通信

###具体使用

参考:https://www.jianshu.com/p/40dbc78711c8

1. 缓存热数据,可以设置过期时间然后再进行缓存更新操作
2. 限时业务的运用,可以使用expire命令设置一个键的生存时间，到时间后redis会删除它。利用这一特性可以运用在限时的优惠活动信息、手机验证码等业务场景
3. redis由于incrby命令可以实现原子性的递增，所以可以运用于高并发的秒杀活动、分布式序列号的生成、具体业务还体现在比如限制一个手机号发多少条短信、一个接口一分钟限制多少请求、一个接口一天限制调用多少次等等
4. 排行榜问题,关系型数据库在排行榜方面查询速度普遍偏慢，所以可以借助redis的SortedSet进行热点数据的排序
5. 分布式锁
6. 延时操作
7. 分页,模糊搜索
8. 点赞、好友等相互关系的存储

四 具体使用

windows中

• 资源链接入口地址：https://github.com/MicrosoftArchive/redis/releases
• 开启服务
  1. cmd进入对应目录后redis-server.exe --maxheap 268435456
  2. 通过配置文件启动:修改redis.windows.conf中的maxheap参数值为26843545,cmd进入对应目录后redis-server.exe redis.windows.conf
• 客户端连接服务器
  1. 运行redis-cli.exe,set k1 v1 添加kv数据,keys *查看所有v,get k1 查看v1
  2. 可以指定自定义ip和端口,cmd进入目录,redis-cli.exe -h 127.0.0.1 -p 6379

linux中

• 资源入口链接-http://download.redis.io/releases/

• 通过浏览器直接打开，或者wget均可

• 解压为源码包，需要编译后方可使用

  tar -xzvf redis-2.8.24.tar.gz
  cd redis-2.8.24
  make  源代码编译
  cd src   进入编译完成后的执行文件所在的主目录
  ./redis-server   按默认参数起动redis-server ,或者./redis-server ../redis.conf   //按指定的参数文件来起动redis-server，参数文件配置等同windows的conf文件
  

• 客户端连接服务端

  cd src
  ./redis-cli  或者 ./redis-cli -h 127.0.0.1 -p 6379
  

五 常用命令

1 设置密码

在redis.conf中，修改requirepass参数 ,参数后面为密码,重启生效,进入: ./redis-cli -a xxxx,先进入./redis-cli再验证auth xxxx

2 key常用命令

###3 hash结构操作常用命令

类似java中的map结构，内部由为该map对象设置一个名称字段，其内部由一系列的kv对组成。

###4 列表(List)结构操作常用命令

5 集合Set结构操作常用命令

• 类比于JavaSe中的HashSet，但Redis中的Set结构主要存储是String类型的无序集合。

• 集合是通过哈希表实现的，所以添加，删除，查找的时间复杂度都是 O(1)。

• 集合成员是唯一、不重复的数据结构。

6 redis连接服务器操作

7 redis服务器操作

###8 基数统计结构HyperLogLog（基数即为去重）

• HyperLogLog结构，是用来做基数统计的结构，与之对应的算法为HyperLogLog算法，是概率计算基数的一种算法。
• 在不要求绝对准确的场景下，比如1%标准误差的范围内，可以用该结构。
• 其显著优点是，输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、且很小的。
• 每个 HyperLogLog 键只需要 12 KB 内存，即可计算近 2^64 个不同元素的基数。其所占存储空间并不是线性增长的。
• 只计算基数，并不存储数据本身，故不能返回元素本身

六 Java操作redis

1. ###引入依赖

• java操作redis的第三方库为jedis

<project 
xmlns="http://maven.apache.org/POM/4.0.0" 
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <groupId>com.tl.job002</groupId>
   <artifactId>RedisTest</artifactId>
   <version>0.0.1-SNAPSHOT</version>
   <!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像方式，效果雷同 -->
   <repositories>
      <repository>
        <id>nexus-aliyun</id>
        <name>Nexus aliyun</name>
         <url>http://maven.aliyun.com/nexus/content/groups/public</url>
      </repository>
   </repositories>
   <dependencies>
      <dependency>
         <groupId>redis.clients</groupId>
         <artifactId>jedis</artifactId>
        <version>2.8.2</version>
      </dependency>
   </dependencies>
   <build>
      <finalName>RedisTest</finalName>
      <plugins>
        <plugin>
           <artifactId>maven-compiler-plugin</artifactId>
           <version>2.3.2</version>
           <configuration>
              <source>1.7</source>
              <target>1.7</target>
              <encoding>UTF-8</encoding>
           </configuration>
        </plugin>
      </plugins>
   </build>
</project>

2. 测试redis server是否正常开启

import redis.clients.jedis.Jedis;
public class RedisUtil {
   public static void main(String[] args) {
      // 连接本地的 Redis 服务
      Jedis jedis = new Jedis("localhost", 6379);
      // 查看服务是否运行
      System.out.println("服务正在运行: " + jedis.ping());
   }
}

3. ###测试向redis加入kv对及查询

import redis.clients.jedis.Jedis;
public class RedisUtil {
   public static void main(String[] args) {
      // 连接本地的 Redis 服务
      Jedis jedis = new Jedis("localhost", 6379);
      jedis.set("jedis_k1", "jedis_v1");
      System.out.println("jedis_k1=:"+ jedis.get("jedis_k1"));
   }
}

4. 从redis client黑窗口中查询结果

输入 get jedis_k1会返回jedis_v1说明起作用

redis操作工具化

import redis.clients.jedis.Jedis;
public class RedisUtil {
	private Jedis jedis;
	public Jedis getJedis() {
		return jedis;
	}
	public void setJedis(Jedis jedis) {
		this.jedis = jedis;
	}
	public RedisUtil(String host, int port, String password) {
		jedis = new Jedis(host, port);
		jedis.auth(password);
	}
	public void set(String key, String value) {
		jedis.set(key, value);
	}
	public String getString(String key) {
		return jedis.get(key);
	}
public void close() {
		this.jedis.close();
	}
	public static void main(String[] args) {
		// 连接本地的 Redis 服务
		RedisUtil redisUtil = new RedisUtil("localhost", 6379, "tianliangedu");
		redisUtil.set("jedis_k1", "jedis_v1");
		System.out.println("jedis_k1=:" + redisUtil.getString("jedis_k1"));
	}
}