漫谈计算机编码

咱们知道，在计算机内部，全部的信息都是以二进制形式进行存储。不管是字符，或是视频音频文件，最终都会对应到一串由 0 和 1 构成的数字串。因此从咱们能看懂的人类信息转变为机器级别的二进制语言的过程就能够理解为一种编码的过程，天然，相反的过程就是所谓的解码的过程。

能够这么说，全部的乱码都是源于解码方式与编码方式的不一致。就好像我用英文给你写了一封信（我要表达的信息用英文这种方式 [编码] 了），而你只懂中文，你用中文去读信的内容（用中文 [解码]），因而整封信在你看来就是所谓的 [乱码]。其实，所谓的乱码不是什么复杂的问题，仅仅就是解码的方式不一样于编码的方式而已，只要换成合适的解码方式就行了。

本文根据计算机编码的演变历史，从最先的 ASCLL 编码，到一统编码界的 Unicode 编码方式，探讨一下咱们的 [人类信息] 到底是如何被编码成 [计算机级信息] 的。

1、始终被兼容的 ASCLL

上个世纪中旬，美国人发明了计算机，当时并无考虑到计算机的普及程度会如此之快，因此当时美国人只制定了英文字符和一些控制字符与二进制之间的映射标准，这个最初的标准就是 ASCLL 编码标准。

ASCLL 首先对全部须要编码的字符进行了一个编号（总共编排了 128 个字符），例如：数字 0 的编号是 48，字母 a 的编号是 97 等。因而 ASCLL 使用一个字节（8 个比特位）来描述这些字符，将他们各自的编号的十进制转换成二进制便可。因而从 00000000 -- 01111111 （0-127）都被编排了字符。因此，全部采用 ASCLL 编码标准的文件在解析的时候，每八位二进制一块儿被解释成一个字符，这样全部的英文字符、数字、其余一些字符都已经能够被存储被读取了。下面附一张经典的 ASCLL 表：

可见，虽然一个字节只用了七个比特位，可是包含的字符仍是至关多的，对于美国人来讲，这彻底足够用了，可是对于一些欧洲国家，乃至咱们伟大的中国来讲，一个字节实在是太少了，因而不少地区国家就有了本身的扩展编码标准，但无一例外的兼容 ASCLL 编码（毕竟人家是鼻祖）。

2、Windows-1252 来自欧洲人的扩展

美国人的 ASCLL 标准只定义了 128 个字符的编码方式，使用了 00000000 -- 01111111 这个区间段的二进制。因而欧洲人直接使用 10000000 -- 11111111（128-255）区间段的 127 个二进制位来定义他们本身的一些符号。

3、GB2312 来自中国人的扩展

我伟大的中华民族有着成千上万的汉字，美国人的一个字节的编码标准怎么能好使？ GB2312 （国家标准编码）主要针对的是咱们平常中常用的一些简体中文，总共收录 6763 个汉字，采用双字节编码，向前兼容 ASCLL 标准。

那么有一个问题，ASCLL 标准的字符采用的一个字节进行编码方式，而咱们的中文汉字采用的两个字节进行编码，计算机在解码的时候到底是一次读取一个字节并把它按照 ASCLL 标准解析成一个字符，仍是一次读取两个字节并把它按照咱们的 GB2312 标准解析成一个汉字呢？

GB2312 规定，编码汉字的两个字节中，第一个字节的最高位必须为 1。这样，因为 ASCLL 标准的全部字符（00000000-01111111），最高位都是 0，因此当计算机读取到某个字节的最高位为 1 的时候，就连着读取两个字节按照 GB2312 标准解析为一个汉字，不然则认为这是一个普通字符并按照 ASCLL 将它解析为一个普通字符。

下面咱们简单描述一下 GB2312 的具体编码细节：

首先，GB2312 是经过所谓的 [分区] 来编排每个汉字的。

• 01-09 区编排了一些特殊字符
• 16-55 区编排了一级经常使用汉字
• 56-87 区编排了二级经常使用汉字
• 00-15 区及 88-94 区则未有编码

GB2312 的编码方式：0xA0 + 区号，0xA0 + 位号。例如：[杨] 的区位号是 4978（49 区 78 位），因此杨的 GB2312 编码为：0xA0 + 49 ，0xA0 + 78 ，即：D1EE。因此之前有一种区位输入法，就是经过输入四位的数字来进行打字的，而这四位数字就是该汉字的区位号。至于为何要在区号位号加 0xA0 ，查了不少资料，没有明确的说法，可能就是一种规定吧。

其实仔细想一下，所谓的编码过程不就是两个步骤的组合么，理解这一点很重要。

• 使用惟一的一个标识编排表示该字符
• 制定统一的规则将标识映射为底层二进制

ASCLL 标准如此，GB2312 也是如此。

例如：ASCLL 为全部字符进行编号，而且相互不重复（第一步），而后制定了一个规则，某个字符编号的二进制就是它的字符编码（第二步）。

例如：GB2312 为全部的汉字进行分区编号，相互不重复（第一步），而后制定规则使得能够经过区位号获得该汉字的二进制字符编码（第二步）。

GBK 向下兼容并扩展了 GB2312 ，收录了 21003 个汉字，依然是采用的固定两个字节来编码汉字，只是高位字节的取值范围不一样而已，此处再也不赘述。

4、有雄心的 Unicode

上面咱们介绍了美国人的编码标准、欧洲人的编码标准、中国人的编码标准，固然这只是冰山一角，世界上存在着各类各样的编码标准。每一个国家的计算机厂商都要根据不一样的地域使用不一样的编码标准来生产计算机，繁琐低效。有没有一种编码标准能收录世界上全部的字符，并提供存储实现呢？

Unicode 的诞生就是为了统一世界上全部编码的，它编排了世界上近乎全部的字符，总共收录将近 110 多万个字符集合，编号范围从 0x000000 到 0x10FFFF。但大多数字符在范围：0x0000 到 0xFFFF 之间（即小于 65536），每一个字符都有一个 Unicode 编号而且通常用十六进制表示，前置 U+。例如：[杨] 的 Unicode 表示为：U+6768。

Unicode 是一种编码标准，它只是为世界上的全部字符进行了编号，并无指定每一个字符每一个编号该如何映射为某个二进制串，而 Unicode 的主要实现者有：UTF-32，UTF-16 和 UTF-8。下面，咱们分别来看看这些实现者的具体实现细节。

一、UTF-32

这是一种最粗暴的实现方式，采用固定四个字节存储单个字符，全部的字符都使用四个字节进行存储，空间浪费，实际使用中不多采用。

二、UTF-16

针对 Unicode 的存储实现来讲，应当遵循一个基本的理念：越经常使用的字符应当使用越少的字节数表示，而越少见的字符才应该用最多的字节数进行表示。下面咱们看看 UTF-16 的具体实现细节：

Unicode 的编码范围从 0x000000 - 0x10FFFF，总共能够编排 1,112,064 个字符。UTF-16 的策略是，编号范围 0x00000 - 0x10000（0-65532）属于经常使用字符，采用固定的两个字节存储。其中，字符所对应的二进制数值就是该字符自己编号的二进制字面量值。可是，其中 0xD800 到 0xDFFF 编号区间没有编排任何字符，这个区间将用于后续的增补字集编码，这里暂时先不说。

可见，对于经常使用的字符来讲，采用两个字节进行编码，可是不经常使用不表明用不到，咱们接着看看那些增补字符集，也就是所谓的不经常使用字符集是如何编码的。

对于编号范围 0x10000 - 0x10FFFF 之间的字符来讲，UTF-16 使用固定的四个字节进行存储，可是你会发现 0x10000 - 0x10FFFF 之间总共有 FFFF 个字符，即 2^20=1,048,576 个字符，也就是须要 20 个比特位才能编码这么多字符。因此，咱们的四个字节里，前两个字节共 16 位至少要提供 2^10(111...111，十个一)种可能，后两个字节也要提供 2^10 种可能，才能组合编排全部的增补字符集。

可是，如今有一个问题：一串二进制数值，我如何判断某个字符是经常使用字符（使用固定的两个字节存储的），或是增补字符（使用四个字节存储的）？

UTF-16 的解决办法以下：

每一个 Unicode 字符都有一个本身的 Unicode 编号，而且对于增补字符来讲，他们的编号都大于 0x10000 。用字符自己的编号减去 0x10000 便可获得该字符在全部增补字符集中的排列序号。这个序号的值必然位于范围：0x00000 - 0xFFFFF 之间，占 20 个比特位 ，由于剩下的增补字符数目不会超过 0xFFFF 个。

对于前 两个字节（维基百科上称作前导代理），定义他们的取值范围：0xD800（0xD800 + 0x0000）到 0xDBFF（0xD800 + 0x3FF [10 个 1]），恰好提供了 2^10 种可能取值。

对于后 两个字节（维基百科上称作后尾代理），一样定义了他们的取值范围：0xDC00（0xDC00 + 0x0000）到 0xDFFF（0xDC00 + 0x3FF [10 个 1]），也恰好提供了 2^10 种可能取值。

因此，若是发现前两个字节的二进制数值位于范围 0xD800 到 0xDBFF 之间，则说明这个字符属于增补字符而且在编码的时候采用四个字节固定存储了，依次读取四个字节即为当前字符的二进制数值。不然，则说明这是一个由两个固定字节存储的基本经常使用字符，依次读取两个字节就行了。

下面看几个示例：

一、Unicode 编号 U+0024 的字符

首先，判断得知该编号小于 0x10000，该字符隶属于普一般用字符集，因此该字符的 UTF-16 编码值就是其自己的编号二进制形式。

二、Unicode 编号 U+24B62 的字符

首先，判断该字符的编号值是大于 0x10000 的，说明该字符隶属于增补字符集。

因而，用 0x24B62 减去 0x10000 获得该字符在增补字符集中的排序：0x14B62 。

经过 UTF-16 编码标准，获得前导代理和后导代理，组合后就是该字符的 UTF-16 编码。如下是计算过程：

0x14B62 -> 0001 0100 1011 0110 0010

前导代理项：0001 0100 10 + 0xD800 = 0xD852

后尾代理项：11 0110 0010 + 0xDC00 = 0xDF62

因此，U+24B62 字符的 UTF-16 编码为：0xD852 DF62

总结一下 UTF-16 的编码标准，对于编号小于 65536 的字符，采用固定两个字节以编号的二进制做为编码的值。对于增补字符集（编号大于 65536），首先拿自己的 Unicode 编号减去 65536 获得当前字符在增补字符集中的排列序号，接着分出两个代理项并加上特定的数值，使得他们各自位于特定的范围中，并以此来区分某个字符到底是两个字节存储的仍是四个字节存储的。

三、UTF-8

UTF-8（8-bit Unicode Transformation Format），是一种针对 Unicode 的可变长度字符编码。使用一到四个字节来编码 Unicode 字符，最经常使用的字符使用最少的字节数进行存储，不多用的字符使用相对多一点的字节数进行存储。

UTF-8 的编码规则以下图所示：

对于编号小于 127 的字符来讲，UTF-8 编码标准等同于 ASCLL 编码标准。

对于其他编号范围，按照如图中所示的格式进行编码，其余的也很少说了，如今咱们经过一个示例来看看到底是如何编码的。

汉字 [杨] 的 Unicode 编号是：0x6768 ，十进制：26472

显然，该汉字的 UTF-8 标准编码格式为：1110xxxx 10xxxxxx 10xxxxxx

0x6768 的二进制是：0110 0111 0110 1000

从这个二进制的最后一位开始，依次从后向前替换编码格式中的 [x] 便可。

显然，结果已经出来了，对应的十六进制代码为：0xE69DA8

总结一下，UTF-8 编码标准对全部 Unicode 编号进行了分类，排名越靠前，存储时使用的字节数目就越少。不一样范围的 Unicode 编号字符集在进行 UTF-8 编码的时候会有不一样的模板，以本身编号的二进制按照相应的规则去套模板，便可获得相对应的 UTF-8 编码。

相反的，指定了 UTF-8 编码的文件，计算机在进行解码的时候，以字节为最小单位。若是当前字节的最高位是 0，那么反向咱们上述的几个步骤，能够获得该字符的 Unicode 编号二进制形式，继而查表能够获得该字符。

若是当前字节开头有多个一，那么有几个一，该字符的编码后的二进制数值就有几个字节，顺序读取便可。而后一样的反向操做，天然能够获得相对应的字符。

常见的几种编码方式就简单介绍到这，关于编码这块，始终要记得本篇中所总结过一个结论。全部的编码标准实际上都作了两件事情，第一件就是为全部须要编码的字符进行一个编号或标识，第二件就是指定一个规则统一得将这个编号或标识与二进制串进行一个映射。

---

文章中的全部代码、图片、文件都云存储在个人 GitHub 上：

(https://github.com/SingleYam/overview_java)

欢迎关注微信公众号：扑在代码上的高尔基，全部文章都将同步在公众号上。