詳解mycat全局序列號實現方式,值得收藏

2019-10-11     波波說運維

概述

在實現分庫分表的情況下,資料庫自增主鍵已無法保證自增主鍵的全局唯一。為此,MyCat 提供了全局sequence,並且提供了包含本地配置和資料庫配置等多種實現方式。下面對這幾種實現方式做一下介紹。


1、本地文件方式

原理:

此方式 MyCAT 將 sequence 配置到文件中,當使用到 sequence 中的配置後,MyCAT 會更下classpath 中的 sequence_conf.properties 文件中 sequence 當前的值。

配置方式:

在 sequence_conf.properties 文件中做如下配置:

GLOBAL_SEQ.HISIDS= 
GLOBAL_SEQ.MINID=1001
GLOBAL_SEQ.MAXID=1000000000
GLOBAL_SEQ.CURID=1000

其中 HISIDS 表示使用過的歷史分段(一般無特殊需要可不配置),MINID 表示最小 ID 值,MAXID 表示最大ID 值,CURID 表示當前 ID 值。

server.xml 中配置:

0

註:sequnceHandlerType 需要配置為 0,表示使用本地文件方式。

使用示例:

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,『test』);

缺點:當 MyCAT 重新發布後,配置文件中的 sequence 會恢復到初始值。

優點:本地加載,讀取速度較快。


2、資料庫方式

原理:

在資料庫中建立一張表,存放 sequence 名稱(name),sequence 當前值(current_value),步長(incrementint 類型每次讀取多少個 sequence,假設為 K)等信息;

Sequence 獲取步驟:

1).當初次使用該 sequence 時,根據傳入的 sequence 名稱,從資料庫這張表中讀取 current_value,和increment 到 MyCat 中,並將資料庫中的 current_value 設置為原 current_value 值+increment 值。

MyCat 將讀取到 current_value+increment 作為本次要使用的 sequence 值,下次使用時,自動加 1,當使用 increment 次後,執行步驟 1)相同的操作。

MyCat 負責維護這張表,用到哪些 sequence,只需要在這張表中插入一條記錄即可。若某次讀取的sequence 沒有用完,系統就停掉了,則這次讀取的 sequence 剩餘值不會再使用。

配置方式(server.xml 配置):

1 

註:sequnceHandlerType 需要配置為 1,表示使用資料庫方式生成 sequence。

配置方式(資料庫 配置):

1) 創 建 MYCAT_SEQUENCE 表

– 創建存放 sequence 的表
DROP TABLE IF EXISTS MYCAT_SEQUENCE;
– name sequence 名 稱
– current_value 當 前 value
– increment 增長步長! 可理解為 mycat 在資料庫中一次讀取多少個 sequence. 當這些用完後, 下次再從資料庫中讀取。
CREATE TABLE MYCAT_SEQUENCE (
name VARCHAR(50) NOT NULL,current_value INT NOT NULL,
increment INT NOT NULL DEFAULT 100, PRIMARY KEY(name))
ENGINE=InnoDB;
– 插入一條 sequence
INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES (『GLOBAL』, 100000,100);

2) 創建相關 function

– 獲取當前 sequence 的值 (返回當前值,增量)
DROP FUNCTION IF EXISTS mycat_seq_currval;
DELIMITER
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8
DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval=「-999999999,null」;
SELECT concat(CAST(current_value AS CHAR),「,」,CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name;
RETURN retval;
END
DELIMITER;
– 設 置 sequence 值
DROP FUNCTION IF EXISTS mycat_seq_setval;
DELIMITER
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64) CHARSET utf-8
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = value
WHERE name = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER;

– 獲取下一個 sequence 值
DROP FUNCTION IF EXISTS mycat_seq_nextval;
DELIMITER
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value + increment WHERE name = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER;

3)sequence_db_conf.properties 相關配置,指定 sequence 相關配置在哪個節點上:

例如:

USER_SEQ=test_dn1

注意:MYCAT_SEQUENCE 表和以上的 3 個 function,需要放在同一個節點上。function 請直接在具體節點的資料庫上執行,如果執行的時候報:

you might want to use the less safe log_bin_trust_function_creators variable

需要對資料庫做如下設置:

windows 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1
linux 下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1

修改完後,即可在 mysql 資料庫中執行上面的函數。

使用示例:

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,'test');

3、本地時間戳方式

ID= 64 位二進位 (42(毫秒)+5(機器 ID)+5(業務編碼)+12(重複累加)

換算成十進位為 18 位數的 long 類型,每毫秒可以並發 12 位二進位的累加。

使用方式:

a. 配置 server.xml

2

b. 在 mycat 下配置:sequence_time_conf.properties

WORKID=0-31 任意整數
DATAACENTERID=0-31 任意整數

多個個 mycat 節點下每個 mycat 配置的 WORKID,DATAACENTERID 不同,組成唯一標識,總共支持32*32=1024 種組合。


4、分布式 ZK ID 生成器

3

Zk 的連接信息統一在 myid.properties 的 zkURL 屬性中配置。

基於 ZK 與本地配置的分布式 ID 生成器(可以通過 ZK 獲取集群(機房)唯一 InstanceID,也可以通過配置文件配置 InstanceID)

ID 結構:long 64 位,ID 最大可占 63 位
* |current time millis(微秒時間戳 38 位,可以使用 17 年)|clusterId(機房或者 ZKid,通過配置文件配置 5位)|instanceId(實例 ID,可以通過 ZK 或者配置文件獲取,5 位)|threadId(線程 ID,9 位)|increment(自增,6 位)
* 一共 63 位,可以承受單機房單機器單線程 1000*(2^6)=640000 的並發。
* 無悲觀鎖,無強競爭,吞吐量更高

配置文件:sequence_distributed_conf.properties,只要配置裡面:INSTANCEID=ZK 就是從 ZK 上獲取InstanceID。


5、Zk 遞增方式

4

Zk 的連接信息統一在 myid.properties 的 zkURL 屬性中配置,4 是 zookeeper 實現遞增序列號

--配置文件:sequence_conf.properties, 只要配置好 ZK 地址和表名的如下屬性
* TABLE.MINID 某線程當前區間內最小值
* TABLE.MAXID 某線程當前區間內最大值
* TABLE.CURID 某線程當前區間內當前值
-- 文件配置的 MAXID 以及 MINID 決定每次取得區間,這個對於每個線程或者進程都有效
-- 文件中的這三個屬性配置只對第一個進程的第一個線程有效,其他線程和進程會動態讀取 ZK

6、自增長主鍵

6.1 MyCAT 自增長主鍵和返回生成主鍵 ID 的實現

說明:

1) mysql 本身對非自增長主鍵,使用 last_insert_id()是不會返回結果的,只會返回 0;

2) mysql只 會對定義自增長主鍵,可以用last_insert_id() 返 回 主 鍵 值 ;

MyCAT目前提供了自增長主鍵功能,但是如果對應的 mysql 節點上數據表,沒有定義 auto_increment,那麼在 MyCAT 層調用 last_insert_id()也是不會返回結果的。

正確配置方式如下:

1) mysql 定義自增主鍵

CREATE TABLE table1(
'id_' INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
'name_' INT(10) UNSIGNED NOT NULL,
PRIMARY KEY ('id_')
) ENGINE=MYISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;

2) mycat 定義主鍵自增

3) mycat 對應 sequence_db_conf.properties 增加相應設置

TABLE1=dn1

4) 在資料庫中 mycat_sequence 表中增加 TABLE1 表的 sequence 記錄

測試使用:

127.0.0.1/root:[TESTDB> insert into tt2(name_) values(『t1』);
Query OK, 1 row affected (0.14 sec)
127.0.0.1/root:[TESTDB> select last_insert_id();
+——————+
| LAST_INSERT_ID() |
+——————+
| 100 |
+——————+

1 row in set (0.01 sec)
127.0.0.1/root:[TESTDB> insert into tt2(name_) values(『t2』);
Query OK, 1 row affected (0.00 sec)
127.0.0.1/root:[TESTDB> select last_insert_id();
+——————+
| LAST_INSERT_ID() |
+——————+
| 101 |
+——————+
1 row in set (0.00 sec)
127.0.0.1/root:[TESTDB> insert into tt2(name_) values(『t3』);
Query OK, 1 row affected (0.00 sec)
127.0.0.1/root:[TESTDB> select last_insert_id();
+——————+
| LAST_INSERT_ID() |
+——————+
| 102 |
+——————+
1 row in set (0.00 sec)

Myibatis 中新增記錄後獲取 last_insert_id 的示例:


覺得有用的朋友多幫忙轉發哦!後面會分享更多devops和DBA方面的內容,感興趣的朋友可以關注下~

文章來源: https://twgreatdaily.com/HWp6uW0BMH2_cNUgcMGG.html