字符串编码encoding

字符串编码:网站

ASCII:占用一个字节,8个比特,规定最高位0,因此最多支持127个字符(字母、数字、一些符号);编码

GB2312:中国制定,为了汉字的表示;code

为了多个国家的语言表示进化出Unicode编码:orm

Unicode:定义了世界上几乎全部字符,两个字节,16bit,为了支持更多语言,可是不少字符用不到两个字节,存储到硬盘或网站上时比ASCII码多占用一倍空间;字符串

UTF(Unicode的转换格式,Unicode Translation Formats):一般所说的编码方式,UTF-3二、UTF-1六、UTF-8it

码点:Unicode给字符串的编码,为一串二进制数;io

码元:切分这个二进制数的方法(一个码元一般为8bit、16bit、32bit)编译

Unicode 编码发展到今天扩展到了 21 位,为啥扩展到 21 位了呢?由于一开始老美只考虑本身那 26 个英文字母和数字,随着愈来愈多的国家的语言语言编码,Unicode 不得继续扩展,目前 21 位已经足够使用。emoji

UTF-32:码元32bit,每32位去读一下码点,而码点是 Unicode 给字符的编码,前面也说了,最长才 21 位,所以每个 UTF-32 值均可以直接表示对应的码点。(缺点:每一个字符占用4个字节太浪费空间)扩展

编码空间:前面说了 Unicode ,它是 21 位的。这 21 位提供了 1,114,112 个码点,编码空间就是对应这 1,114,112 个码点。这么多码点并不表明有这么多字符,目前大概只有 10% 的空间被使用了,人类社会还没创造出 1,114,112 这么多的字符。

编码空间被分红 17 个平面(plane),每一个平面有 65,536 个字符(正好填充 2 个字节,16 位)。
0 号平面叫作“基本多文种平面”(BMP, Basic Multilingual Plane),涵盖了几乎全部你能遇到的字符,除了 emoji(emoji 位于 1 号平面 - -)。
其它平面叫作补充平面,大可能是空的。

UTF-16:最多见,码元16bit,每16bit去读一下码点,直到读取完成,BMP 平面(也就是前面说的基本多文种平面)中的每个码点都直接与一个 UTF-16 的码元一一映射。因为 BMP 几乎包括了全部常见字符,UTF-16 通常须要 UTF-32 大约一半的空间。至于其它平面里不多使用的码点都是用两个 16 位的码元来编码的。

UTF-8:可变长变短的编码。码元8~32bit,
从 0 到 127 的这些码点直接映射成 1 个字节(对于只包含这个范围字符的文原本说,这一点使得 UTF-8 和 ASCII 彻底相同)。接下来的 1,920 个码点映射成 2 个字节,在 BMP 里全部剩下的码点须要 3 个字节。
Unicode 的其余平面里的码点则须要 4 个字节。
UTF-8 是基于 8 位的码元的,所以它并不须要关心字节顺序(由于字节就是 8 位的呀,其它 UTF-16 和 UTF-32 在不一样的机器编译环境下须要考虑字节的顺序问题)。                        

UTF-8是存储和交流Unicode文本方面的最佳编码。