分布式惟一ID系列（4）——Redis集群实现的分布式ID适合作分布式ID吗

时间 2020-05-24

标签分布式惟一系列 redis 集群实现适合栏目系统架构繁體版

原文原文链接

首先是项目地址：

https://github.com/maqiankun/distributed-id-redis-generatorhtml

关于Redis集群生成分布式ID，这里要先了解redis使用lua脚本的时候的EVAL，EVALSHA命令：

https://www.runoob.com/redis/scripting-eval.html https://www.runoob.com/redis/scripting-evalsha.htmljava

讲解一下Redis实现分布式ID的原理，这里用java语言来说解：

这里的分布式id咱们分红3部分组成：毫秒级时间，redis集群的第多少个节点，每个redis节点在每一毫秒的自增序列值node

而后由于window是64位的，而后整数的时候第一位必须是0，因此最大的数值就是63位的111111111111111111111111111111111111111111111111111111111111111，这里呢，咱们分出来41位做为毫秒，而后12位做为redis节点的数量，而后10位作成redis节点在每一毫秒的自增序列值git

41位的二进制11111111111111111111111111111111111111111转换成10进制的毫秒就是2199023255551，而后咱们把 2199023255551转换成时间就是2039-09-07，也就是说能够用20年的而后12位做为redis节点，因此最多就是12位的111111111111，也就是最多能够支持4095个redis节点，而后10位的redis每个节点自增序列值，，这里最多就是10位的1111111111，也就是说每个redis节点能够每一毫秒能够最多生成1023个不重复id值github

而后咱们使用java代码来说解这个原理，下面的1565165536640L是一个毫秒值，而后咱们的的redis节点设置成53，而后咱们设置了两个不一样的自增序列值，分别是1和1023，下面的结果展现的就是在1565165536640L这一毫秒里面，53号redis节点生成了两个不一样的分布式id值redis

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;


public class Test {

	public static void main(String[] args) {
		long buildId = buildId(1565165536640L, 53, 1);
		System.out.println("分布式id是："+buildId);
		long buildIdLast = buildId(1565165536640L, 53, 1023);
		System.out.println("分布式id是："+buildIdLast);
	}
	
	public static long buildId(long miliSecond, long shardId, long seq) {
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}


}
public class Test {

	public static void main(String[] args) {
		long buildId = buildId(1565165536640L, 53, 1);
		System.out.println("分布式id是："+buildId);
		long buildIdLast = buildId(1565165536640L, 53, 1023);
		System.out.println("分布式id是："+buildIdLast);
	}
	
	public static long buildId(long miliSecond, long shardId, long seq) {
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}


}

结果以下所示算法

分布式id是：6564780070991352833
分布式id是：6564780070991353855

那么有人要说了，你这也不符合分布式id的设置啊，彻底没有可读性啊，这里咱们可使用下面的方式来获取这个分布式id的生成毫秒时间值，shell

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;

public class Test {

	public static void main(String[] args) {
		long buildId = buildId(1565165536640L, 53, 1);
		parseId(buildId);
		long buildIdLast = buildId(1565165536640L, 53, 1023);
		parseId(buildIdLast);
	}
	
	public static long buildId(long miliSecond, long shardId, long seq) {
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}

	public static void parseId(long id) {
		long miliSecond = id >>> 22;
		long shardId = (id & (0xFFF << 10)) >> 10;
		System.err.println("分布式id-"+id+"生成的时间是："+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond)));
		System.err.println("分布式id-"+id+"在第"+shardId+"号redis节点生成");
	}

}

这样不就ok了，哈哈。数据库

分布式id-6564780070991352833生成的时间是：2019-08-07
分布式id-6564780070991352833在第53号redis节点生成
分布式id-6564780070991353855生成的时间是：2019-08-07
分布式id-6564780070991353855在第53号redis节点生成

实现集群版的redis的分布式id建立

此时个人分布式redis集群的端口分别是6380，6381 首先是生成Evalsha命令安全sha1 校验码，生成过程以下，首先是生成6380端口对应的安全sha1 校验码，首先进入到redis的bin目录里面，而后执行下面的命令下载lua脚本apache

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua

而后执行下面的命令，生成6380端口对应的安全sha1 校验码，此时看到是be6d4e21e9113bf8af47ce72f3da18e00580d402

./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"

首先是生成6381端口对应的安全sha1 校验码，首先进入到redis的bin目录里面，而后执行下面的命令下载lua脚本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua

而后执行下面的命令，生成6381端口对应的安全sha1 校验码，此时看到是97f65601d0aaf1a0574da69b1ff3092969c4310e

./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"

而后咱们就使用上面的sha1 校验码和下面的代码来生成分布式id

项目图片以下

IdGenerator类的代码以下所示

package io.github.hengyunabc.redis;

import java.util.ArrayList;
import java.util.List;

import org.apache.commons.lang3.tuple.Pair;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.exceptions.JedisConnectionException;

public class IdGenerator {
	/**
	 * JedisPool, luaSha
	 */
	List<Pair<JedisPool, String>> jedisPoolList;
	int retryTimes;

	int index = 0;

	private IdGenerator(List<Pair<JedisPool, String>> jedisPoolList,
			int retryTimes) {
		this.jedisPoolList = jedisPoolList;
		this.retryTimes = retryTimes;
	}

	static public IdGeneratorBuilder builder() {
		return new IdGeneratorBuilder();
	}

	static class IdGeneratorBuilder {
		List<Pair<JedisPool, String>> jedisPoolList = new ArrayList();
		int retryTimes = 5;

		public IdGeneratorBuilder addHost(String host, int port, String luaSha) {
			jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha));
			return this;
		}

		public IdGenerator build() {
			return new IdGenerator(jedisPoolList, retryTimes);
		}
	}

	public long next(String tab) {
		for (int i = 0; i < retryTimes; ++i) {
			Long id = innerNext(tab);
			if (id != null) {
				return id;
			}
		}
		throw new RuntimeException("Can not generate id!");
	}

	Long innerNext(String tab) {
		index++;
		int i = index % jedisPoolList.size();
		Pair<JedisPool, String> pair = jedisPoolList.get(i);
		JedisPool jedisPool = pair.getLeft();

		String luaSha = pair.getRight();
		Jedis jedis = null;
		try {
			jedis = jedisPool.getResource();
			List<Long> result = (List<Long>) jedis.evalsha(luaSha, 2, tab, ""
					+ i);
			long id = buildId(result.get(0), result.get(1), result.get(2),
					result.get(3));
			return id;
		} catch (JedisConnectionException e) {
			if (jedis != null) {
				jedisPool.returnBrokenResource(jedis);
			}
		} finally {
			if (jedis != null) {
				jedisPool.returnResource(jedis);
			}
		}
		return null;
	}

	public static long buildId(long second, long microSecond, long shardId,
			long seq) {
		long miliSecond = (second * 1000 + microSecond / 1000);
		return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
	}

	public static List<Long> parseId(long id) {
		long miliSecond = id >>> 22;
		long shardId = (id & (0xFFF << 10)) >> 10;

		List<Long> re = new ArrayList<Long>(4);
		re.add(miliSecond);
		re.add(shardId);
		return re;
	}
}

Example的代码以下所示，下面的while循环的目的就是为了打印多个分布式id，下面的tab变量就是evalsha命令里面的参数，能够根据本身的需求来定义

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;

public class Example {

	public static void main(String[] args) {
		String tab = "这个就是evalsha命令里面的参数，随便定义";

		IdGenerator idGenerator = IdGenerator.builder()
				.addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402")
				.addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e")
				.build();
		int hello = 0;
        while (hello<3){
            long id = idGenerator.next(tab);

            System.out.println("分布式id值:" + id);
            List<Long> result = IdGenerator.parseId(id);

            System.out.println("分布式id生成的时间是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) );
            System.out.println("redis节点:" + result.get(1));
            hello++;
        }

	}
}

此时打印结果以下所示

分布式id值:6564819854640022531
分布式id生成的时间是:2019-08-07
redis节点:1
分布式id值:6564819855189475330
分布式id生成的时间是:2019-08-07
redis节点:0
分布式id值:6564819855361442819
分布式id生成的时间是:2019-08-07
redis节点:1

到这里redis集群版的分布式id就算搞定了，完美؏؏☝ᖗ乛◡乛ᖘ☝؏؏

Redis集群实现的分布式id是否适合作分布式id呢？

我以为Redis集群实现分布式ID是能够供咱们开发中的基本使用的，可是我仍是以为它有下面的两个问题：

1：这里咱们能够给上一篇的数据库自增ID机制进行对比，其实Redis集群能够说是解决了数据库集群建立分布式ID的性能问题，可是Redis集群系统水平扩展仍是比较困难，若是之后想对Redis集群增长Redis节点的话，仍是会和数据库集群的节点扩展同样麻烦。 2：还有就是若是你的项目里面没有使用Redis，那么你就要引入新的组件，这也是一个比较麻烦的问题。

原文连接

其余分布式ID系列快捷键：分布式ID系列（1）——为何须要分布式ID以及分布式ID的业务需求分布式ID系列（2）——UUID适合作分布式ID吗分布式ID系列（3）——数据库自增ID机制适合作分布式ID吗分布式ID系列（4）——Redis集群实现的分布式ID适合作分布式ID吗分布式ID系列（5）——Twitter的雪法算法Snowflake适合作分布式ID吗

原文出处：https://www.cnblogs.com/itqiankun/p/11319994.html