[大数据]bigdata_redis缓存数据库

一丶介绍redis

? ? ??是一个高性能的key-value内存型数据库。

? ? ? 特点：

支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候自动再次加载进行使用。

既支持key-value类型的数据操作，还提供list，set，zset，hash等数据结构的存储。

支持数据的主从备份，采用master-slave模式的主从备份。

新版3.x也支持分布式布署模式，真正实现了数据块的分布式存储与响应。

性能极高–Redis读的速度是11万次/s,写的速度是8万次/s。

所有操作均为原子性操作

丰富的实 用特性，如订阅-发布模式，生产者消费者模式，key过期等常用易用的模式。

三种运行模式

单机布署

主备布署

分布式布署

二丶安装redis

1. windows安装

? ? ? ? ? 选择2.8.*版本

下载完成后，直接解压即可投入使用。

通过配置文件启动服务：

1. 修改redis.windows.conf中的maxheap参数值为268435456
2. 通过加载配置文件启动redis服务

??redis-server.exe redis.windows.conf

redis客户端链接redis服务器

cmd进入对应目录后，找到服务命令redis-cli.exe.

直接运行即可，默认链接127.0.0.1IP地址下的6379端口

2.linux安装

通过浏览器直接打开，或者wget均可。

下载完成后，直接解压为源码包，需要编译后方可使用。

编译过程与server运行

tar -xzvf?redis-2.8.24.tar.gz

cd redis-2.8.24

make? ? //源代码编译

cd src? ?//进入编译完成后的执行文件所在的主目录

./redis-server? ?//按默认参数起动redis-server

或者./redis-server ../redis.conf? ?//按指定的参数文件来起动redis-server，参数文件配置等同windows的conf文件

1. 客户端链接到server
2. cd src目录
3. ./redis-cli? ? //按默认ip和port链接，即127.0.0.1和6379
4. 或者./redis-cli -h 127.0.0.1 -p 6379

三丶redis架构设计

1. redis架构设计说明
2. 单进程单线程模型的KV数据库
3. 多线程处理可能涉及到锁
4. 多线程处理会涉及到线程切换而消耗CPU
5. 无法发挥多核CPU性能，不过可以通过在单机开多个Redis实例来完善
   1. 完全基于内存，但提供数据持久化功能。
   2. 数据结构简单，对数据操作也简单
   3. 使用多路 I/O 复用模型（网络io事件模型-epoll）
      1. 网络IO都是通过Socket实现，Server在某一个端口持续监听，客户端通过Socket（IP+Port）与服务器建立连接（ServerSocket.accept），成功建立连接之后，就可以使用Socket中封装的InputStream和OutputStream进行IO交互。针对每个客户端，Server都会创建一个新线程专门用于处理该客户端的IO请求。
      2. 默认情况下，网络IO是阻塞模式，即服务器线程在数据到来之前处于【阻塞】状态，等到数据到达，会自动唤醒服务器线程，着手进行处理。阻塞模式下，一个线程只能处理一个流的IO事件
      3. 5种网络IO模型
         1. 阻塞IO、非阻塞IO、IO复用模型、信号驱动IO、异步IO模型
         2. IO复用模型中包括：select模式、poll模式、epoll模式（event poll模式），其中epoll是select和poll模型的升级优化，使得一个线程可以最大限度、最高效的监听和响应更多路客户端的IO请求。

四丶redis常用命令

1. key常用命令

2.hash结构操作常用命令

3.列表(List)结构操作常用命令

4.集合Set结构操作常用命令

5.redis连接服务器操作

6.redis服务器操作

7.基数统计结构HyperLogLog（基数即为去重）

1. HyperLogLog结构，是用来做基数统计的结构，与之对应的算法为HyperLogLog算法，是概率计算基数的一种算法。
2. 在不要求绝对准确的场景下，比如1%标准误差的范围内，可以用该结构。
3. 其显著优点是，输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、且很小的。
4. 每个 HyperLogLog 键只需要 12 KB 内存，即可计算近 2^64 个不同元素的基数。其所占存储空间并不是线性增长的。
5. 只计算基数，并不存储数据本身，故不能返回元素本身。

五丶java代码应用

1.配置：

<project 
xmlns="http://maven.apache.org/POM/4.0.0" 
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <groupId>com.tl.job002</groupId>
   <artifactId>RedisTest</artifactId>
   <version>0.0.1-SNAPSHOT</version>
   <!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像方式，效果雷同 -->
   <repositories>
      <repository>
        <id>nexus-aliyun</id>
        <name>Nexus aliyun</name>
         <url>http://maven.aliyun.com/nexus/content/groups/public</url>
      </repository>
   </repositories>
   <dependencies>
      <dependency>
         <groupId>redis.clients</groupId>
         <artifactId>jedis</artifactId>
        <version>2.8.2</version>
      </dependency>
   </dependencies>
   <build>
      <finalName>RedisTest</finalName>
      <plugins>
        <plugin>
           <artifactId>maven-compiler-plugin</artifactId>
           <version>2.3.2</version>
           <configuration>
              <source>1.7</source>
              <target>1.7</target>
              <encoding>UTF-8</encoding>
           </configuration>
        </plugin>
      </plugins>
   </build>
</project>

2.测试：

2.1测试1：

package com.tl.utils;

import redis.clients.jedis.Jedis;

public class RedisUtil {

???public static void main(String[] args) {

??????// 连接本地的 Redis 服务

??????Jedis jedis = new Jedis("localhost", 6379);

??????// 查看服务是否运行

??????System.out.println("服务正在运行: " + jedis.ping());

???}

}

2.2测试2：

package com.tl.utils;

import redis.clients.jedis.Jedis;

public class RedisUtil {

???public static void main(String[] args) {

??????// 连接本地的 Redis 服务

??????Jedis jedis = new Jedis("localhost", 6379);

??????jedis.set("jedis_k1", "jedis_v1");

??????System.out.println("jedis_k1=:"+ jedis.get("jedis_k1"));

???}

}

3.工具类化

import redis.clients.jedis.Jedis;
public class RedisUtil {
	private Jedis jedis;
	public Jedis getJedis() {
		return jedis;
	}
	public void setJedis(Jedis jedis) {
		this.jedis = jedis;
	}
	public RedisUtil(String host, int port, String password) {
		jedis = new Jedis(host, port);
		jedis.auth(password);
	}
	public void set(String key, String value) {
		jedis.set(key, value);
	}
	public String getString(String key) {
		return jedis.get(key);
	}
public void close() {
		this.jedis.close();
	}
	public static void main(String[] args) {
		// 连接本地的 Redis 服务
		RedisUtil redisUtil = new RedisUtil("localhost", 6379, "tianliangedu");
		redisUtil.set("jedis_k1", "jedis_v1");
		System.out.println("jedis_k1=:" + redisUtil.getString("jedis_k1"));
	}
}

4.应用场景：

目标：加速客户端访问速度或其它要加速提效的功能点

1. 缓存一些静态数据
2. 缓存一些不经常变化数据
3. 缓存一些高耗时计算的数据
4. 缓存一些预计算的数据
5. 充当中间件，做系统模块或子系统之间的解耦使用