字符编码--第3章 字符的存储--ANSI编码
第11节 ANSI编码程序员
为使计算机支持更多语言，一般使用 0x80~0xFF 范围的 2 个字节来表示 1 个字符。好比：汉字 '中' 在中文操做系统中，使用 [0xD6,0xD0] 这两个字节存储。数组
不一样的国家和地区制定了不一样的标准，由此产生了 GB23十二、GBK、GB18030、Big五、Shift_JIS 等各自的编码标准。这些使用多个字节来表明一个字符的各类汉字延伸编码方式，称为 ANSI 编码。在简体中文Windows操做系统中，ANSI 编码表明 GBK 编码；在繁体中文Windows操做系统中，ANSI编码表明Big5；在日文Windows操做系统中，ANSI 编码表明 Shift_JIS 编码。编辑器
不一样 ANSI 编码之间互不兼容，当信息在国际间交流时，没法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。ide
ANSI编码表示英文字符时用一个字节，表示中文用两个或四个字节。函数
第12节 全角和半角测试
全角（大陆、日本、韩国称全角；台湾、香港称全形；也称全宽或全码）和半角（大陆、日本、韩国称半角；台湾、香港称半形；也称半宽或半码），是计算机中，中、日、韩文的CJKV字符的显示格式。字体
传统上，英语或拉丁字母语言使用的电脑系统，每个字母或符号，都是使用一字节的空间（一字节由8位元组成，共256个编码空间）来储存；而汉语、日语及韩语文字，因为数量大大超过256个，故惯常使用两字节来储存一个字符，在使用固定宽度文字的地方（如DOS、部分文字编辑器等），为了使字体看起来齐整，英文字母、数字及其余符号，也由原来只占一个字空间，改成一律占用两个字的空间来显示，而且使用两个字节来储存。因此，中、日、韩等文字称为全形字符，相比起来，拉丁字母或数字就称为半形字符。ui
JIS X 0201编码表把日语的片假名放进一字节的空间，故又称为“半角片假名”。编码
半形假名spa
半形假名（日文：半角カナ）是对 JIS X 0201 标准收纳的片假名、几个基本日文标点符号（日文：句読点 或 約物）、浊点和半浊点的统称。其包含日文的最基础符号，能以最简约的方式表达日语。每一个“半形假名”只须要八位元，能够当作是对 ISO 646 / ASCII 的扩充；占用的文字宽度亦同样，一般只有普通汉字的一半，故称为“半形假名”。
例如普通（全形）的片假名“カ”，半形的是“ｶ”。平假名和汉字并没有半形版本。
区位码
区位码是指每一个汉字的GB2312编码的对应表示，以4位十进制数字表示。例如“啊”字的区位码是1601。
国标码的内码是指每一个汉字未经处理的GB2312编码，以4位十六进制数字表示。例如“啊”字的国标码是B0A1（与国标码对比：0xB0=0xA0+16,0xA1=0xA0+1）。
国标码、区位码都属于“无理码”（即没有什么道理可讲，就得背），直接向计算机输入区位码而获得汉字的方法叫作区位输入法（相应地，输入国标码而获得汉字的方法叫作GB内码输入法）。在DOS时代，许多中文系统都实现了国标码及区位码输入法，以便程序员进行输入测试。普通用户通常不使用这些输入法，在DOS被Windows系统取代后，国标码和区位码输入法已经趋于消亡。
Windows 95至2000、Me中，有“区位输入法”和“内码输入法”；Windows XP中，有“中文(简体) - 内码”；Windows Vista起，该输入法被移除，须从XP系统中移植WinGB.IME方可以使用。
MBCS(Multi-Byte Chactacter System，即多字节字符系统)
它是编码的一种类型，而不是某个特定编码的名称。
字符基础：ASCII，DBCS，Unicode
全部的string类都是以C-style字符串为基础的。C-style字符串是字符数组。字符类型有三种编码格式：
第一种是单字节字符集(single byte character set or SBCS)。在这种编码格式下，全部字符都只用 一个字节表示，ASCII码就是单字节字符。用"0"来表示一个字节的结束。
第二种编码格式是多字节字符集(multi-byte character set or MBCS)。在Windows里的MBCS包含两种字符类型：单字节字符(single byte characters)和双字节字符(double byte characters)。因为Windows 里使用的多字节字符绝大部分是两个字节长，MBCS常被DBCS代替。
第三种编码格式是Unicode。Unicode是一种全部的字符都使用两个字节编码的编码模式。Unicode字符有时也被称做宽字符。
Unicode与MBCS的区别是：MBCS字符可使用不一样长度的字节编码。
单字节字符包含拉丁文字母表及ASCII码和DOS操做系统定义的图形字符。双字节字符被用来表示东亚及中东的语言。Unicode被用来COM及Windows NT操做系统内部。
char是单字节字符。双字节字符也能够用char类型来进行操做。Unicode字符用wchar_t来表示。Unicode字符和字符串常量用前缀L来表示。例如：
wchar_t wch = L"1";
wchar_t* wsz = L"Hello";
单字节字符串在内存中：每一个字符占一个字节按顺序依次存储。最后以单字节表示的0结束。例如："Bob"在内存中的存储形式：
|-------------------------------|
|42 | 6F | 62 | 00 |
|-------------------------------|
|B | o | b | BOS |
|-------------------------------|
Unicode的存储形式:
--------------------------------------------
| 42 00 | 6F 00 | 62 00 | 00 00 |
|------------------------------------------|
| B | o | b | BOS |
|------------------------------------------|
Win32 API中的MBCS和Unicode
尽管你也许历来没有注意过，Win32中的每一个与字符串相关的API和message都有两个版本。一个版本按受MBCS字符串，另外一个接受Unicode字符串。例如：根本没有SetWindowText()这个API,相反有SetWindowTextA()和SetWindowTextW()。
后缀A代表这是MBCS函数，后缀W表示这是Unicode版本的函数。
当你build一个Windows程序，你能够选择是用MBCS或者Unicode API，若是你用vc向导而且没有改过预处理的设置。那代表你用的是MBCS版本。
当使用MBCS API来build程序时，UNICODE没有被定义，因此预处理器看到：
#define SetWindowText SetWindowTextA
这个宏把全部对SetWindowText的调用都转换成真正的API函数SetWindowTextA.若是你想把默认使用的API函数变成Unicode版的，你能够在预处理器设置中，把_MBCS从预约义的宏列表中删除。而后添加UNICODE和_UNICODE(须要两个都定义，由于不一样的头文件可能使用不一样的宏。)
使用TCHAR类型
TCHAR是一种字符串类型，它让你在以MBCS和UNICODE来build程序时可使用一样的代码；不须要使用繁琐的宏定义来包含你的代码。TCHAR的定义以下：
#ifdef UNICODE
typedef wchar_t TCHAR;
#else
typedef char TCHAR;
#endif
还有一个宏来处理定义Unicode字符串常量时所需的L前缀。
#ifdef UNICODE
#define _T(x) L##X
#else
#define _T(x)x
#endif
##是一个预处理操做符，它能够把两个参数连在一块儿。若是你的代码中须要字符串常量，在它前面加上_T宏，若是你使用Unicode来build，它会在字符串常量前加上L前缀。
Windows API是用TCHAR来定义的，在编译时，它能够根据你是否认义_MBCS或_UNICODE被编译成MBCS或者Unicode字符。
类型 含义
WCHAR Unicode character(wchar_t)
TCHAR MBCS or Unicode character.
LPSTR string of char (char*)
LPCSTR const string of char(const char*)
LPWSTR string of WCHAR(WCHAR*)
LPCWSTR constant string of WCHAR(const WCHAR*)
LPTSTR string of TCHAR(TCHAR*)
LPCTSTR constant string of TCHAR(const TCHAR*)
杂谈：
计算机发明后，为了在计算机中表示字符，人们制定了一种编码，叫作ASCII码，ASCII码由一个字节中的7位(bit)表示，范围是0x00-0x7F共128个字符。用这128个数字表示abcd...ABCD...1234....这些字符。后来又扩展了ASCII码的定义，使用一个字节的所有8位(bit)来表示字符了。这就叫扩展 ASCII码。范围是0x00-0xFF共256个字符。
后来，中国人利用连续2个扩展ASCII码的扩展区域(0xA0之后)来表示一个汉字，该方法的标准叫GB-2312。后来，日文、韩文、阿拉伯文、台湾繁体都使用相似的方法扩展了本地字符集的定义，如今统一称为MBCS字符集(多字节字符集)。这种方法是有缺陷的，由于各个国家的定义的字符集有交集，所以使用GB2312的软件，就不能在BIG-5的环境下运行(显示乱码)。
为了把全世界的全部的文字符号都统一进行编码，因而制定了UNICODE标准字符集。UNICODE使用2个字节表示一个字符。这下终于好啦，全世界任何一个地区的软件，能够 不用修改就能在另外一个地区运行了。UNICODE的范围是0x0000-0xFFFF共6万多个字符。
在程序中使用各类字符集的方法：
const char* p = "Hello"; //使用ASCII码
const char* p = "你好"; //使用MBCS字符集，因为MBCS彻底兼容ASCII码，多数状况，咱们并不严格区分他们。
LPCSTR p = "Hello,你好"; //意义同上。
const WCHAR *p = L"Hello,你好";使用UNICODE字符集。
//若是预约义了_UNICODE，则表示使用UNICODE字符集，若是定义了_MBCS,则表示使用MBCS
const TCHAR *p = _T("Hello 您好");
LPCTSTR p = _T("Hello,你好");//意义同上。
多字节与UTF-八、Unicode之间的转换
// 多字节编码转为UTF8编码
bool MBToUTF8(vector<char>& pu8, const char* pmb, int32 mLen)
{
// convert an MBCS string to widechar
int32 nLen = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, NULL, 0);
WCHAR* lpszW = NULL;
try
{
lpszW = new WCHAR[nLen];
}
catch(bad_alloc &memExp)
{
return false;
}
int32 nRtn = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, lpszW, nLen);
if(nRtn != nLen)
{
delete[] lpszW;
return false;
}
// convert an widechar string to utf8
int32 utf8Len = WideCharToMultiByte(CP_UTF8, 0, lpszW, nLen, NULL, 0, NULL, NULL);
if (utf8Len <= 0)
{
return false;
}
pu8.resize(utf8Len);
nRtn = WideCharToMultiByte(CP_UTF8, 0, lpszW, nLen, &*pu8.begin(), utf8Len, NULL, NULL);
delete[] lpszW;
if (nRtn != utf8Len)
{
pu8.clear();
return false;
}
return true;
}
// UTF8编码转为多字节编码
bool UTF8ToMB(vector<char>& pmb, const char* pu8, int32 utf8Len)
{
// convert an UTF8 string to widechar
int32 nLen = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, NULL, 0);
WCHAR* lpszW = NULL;
try
{
lpszW = new WCHAR[nLen];
}
catch(bad_alloc &memExp)
{
return false;
}
int32 nRtn = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, lpszW, nLen);
if(nRtn != nLen)
{
delete[] lpszW;
return false;
}
// convert an widechar string to Multibyte
int32 MBLen = WideCharToMultiByte(CP_ACP, 0, lpszW, nLen, NULL, 0, NULL, NULL);
if (MBLen <=0)
{
return false;
}
pmb.resize(MBLen);
nRtn = WideCharToMultiByte(CP_ACP, 0, lpszW, nLen, &*pmb.begin(), MBLen, NULL, NULL);
delete[] lpszW;
if(nRtn != MBLen)
{
pmb.clear();
return false;
}
return true;
}
// 多字节编码转为Unicode编码
bool MBToUnicode(vector<wchar_t>& pun, const char* pmb, int32 mLen)
{
// convert an MBCS string to widechar
int32 uLen = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, NULL, 0);
if (uLen<=0)
{
return false;
}
pun.resize(uLen);
int32 nRtn = MultiByteToWideChar(CP_ACP, 0, pmb, mLen, &*pun.begin(), uLen);
if (nRtn != uLen)
{
pun.clear();
return false;
}
return true;
}
//Unicode编码转为多字节编码
bool UnicodeToMB(vector<char>& pmb, const wchar_t* pun, int32 uLen)
{
// convert an widechar string to Multibyte
int32 MBLen = WideCharToMultiByte(CP_ACP, 0, pun, uLen, NULL, 0, NULL, NULL);
if (MBLen <=0)
{
return false;
}
pmb.resize(MBLen);
int nRtn = WideCharToMultiByte(CP_ACP, 0, pun, uLen, &*pmb.begin(), MBLen, NULL, NULL);
if(nRtn != MBLen)
{
pmb.clear();
return false;
}
return true;
}
// UTF8编码转为Unicode
bool UTF8ToUnicode(vector<wchar_t>& pun, const char* pu8, int32 utf8Len)
{
// convert an UTF8 string to widechar
int32 nLen = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, NULL, 0);
if (nLen <=0)
{
return false;
}
pun.resize(nLen);
int32 nRtn = MultiByteToWideChar(CP_UTF8, 0, pu8, utf8Len, &*pun.begin(), nLen);
if(nRtn != nLen)
{
pun.clear();
return false;
}
return true;
}
// Unicode编码转为UTF8
bool UnicodeToUTF8(vector<char>& pu8, const wchar_t* pun, int32 uLen)
{
// convert an widechar string to utf8
int32 utf8Len = WideCharToMultiByte(CP_UTF8, 0, pun, uLen, NULL, 0, NULL, NULL);
if (utf8Len<=0)
{
return false;
}
pu8.resize(utf8Len);
int32 nRtn = WideCharToMultiByte(CP_UTF8, 0, pun, uLen, &*pu8.begin(), utf8Len, NULL, NULL);
if (nRtn != utf8Len)
{
pu8.clear();
return false;
}
return true;
}
- 1. 字符编码--第3章 字符的存储--ASCII（1967年）
- 2. 字符编码--第2章 数的存储
- 3. python 3字符编码
- 4. 字符编码
- 5. --- 字符编码 ---
- 更多相关文章...
- • XML 编码 - XML 教程
- • R 字符串 - R 语言教程
- • 三篇文章了解 TiDB 技术内幕——说存储
- • Scala 中文乱码解决
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. 字符编码--第3章 字符的存储--ASCII（1967年）
- 2. 字符编码--第2章 数的存储
- 3. python 3字符编码
- 4. 字符编码
- 5. --- 字符编码 ---