问题还原mysql
使用 erlang 存储一些特殊字符串到 MySQL 的时候,却无法读出来。经检查,这些字符串的二进制格式以下:sql
<<240,159,152,134,240,159,152,144>>服务器
查看二进制的 unicode 是什么?编码
14> unicode:characters_to_list(<<240,159,152,134,240,159,152,144>>)..net
[128518,128528]code
15> erlang:integer_to_list(128518,16).%%查看十六进制server
"1F606"ci
16> erlang:integer_to_list(128528,16).unicode
"1F610"字符串
明显,1F606 和 1F610 超过了常见 unicode 字符串 0000-FFFF 的表达范围。
1F606 和 1F610 表明什么?
根据 unicode 官网上的说明,这是一种 emoji(表情符号),具体的展现形式与厂商有关。
MySQL 上存储失败的缘由
目前来讲,多数 MySQL 都是以 utf8 存储,注意 MySQL 的 utf8 和咱们所说的传统 utf8 有点区别。MySQL 的 utf8 编码规定了最多只能有 3 个字节,而 emoji 的 unicode 已经超过了 3 个字节,所以 MySQL 的 utf8 没法识别与存储 emoji。
为此能够查阅 MySQL 中关于 unicode 支持的资料,从中能够得知 MySQL 在 5.5 后开始支持 utf8mb4,这种编码支持 1 ~ 4 个字节,这种编码能够表示 emoji。
另外 utf8mb4 向下兼容 utf8。
解决方案
将 MySQL 中对应的字段改为 utf8mb4 编码:
ALTER TABLE t1
DEFAULT CHARACTER SET utf8mb4,
MODIFY col1 CHAR(10)
CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
MODIFY col2 CHAR(10)
CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL;
将链接库的链接编码改成 utf8mb4,下面兄弟连(www.lampbrother.net)就以 erlang 的链接库 emysql 为例:
emysql:add_pool(pool,[{size,1},{user,"user"},{password,"password"},{host,"host"},{port,3306},{encoding,utf8mb4}]).
%%或者
emysql:add_pool(pool,1,"user","password","host",3306,undefined, utf8mb4).
为了建表方便,能够修改 my.cnf:
[mysql]
default-character-set=utf8mb4
[mysqld]
character-set-server=utf8mb4