linux下编码转换

1.什么是编码？

关于编码的定义，咱们能够查看百度全科http://baike.baidu.com/view/237708.htm

还能够参考：http://www.cnblogs.com/cocowool/archive/2009/04/25/1443529.html

2.linux下常常遇到的编码问题

若是你须要在Linux中操做windows下的文件，那么你可能会常常遇到文件编码转换的问题。Windows中默认的文
件格式是GBK（gb2312），而Linux通常都是UTF-8。

3.查看编码的方法

方法一：file filename

方法二：在Vim中能够直接查看文件编码

　　:set fileencoding

便可显示文件编码格式。

若是你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你能够在
　　~/.vimrc 文件中添加如下内容：
　　set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936
　　这样，就可让vim自动识别文件编码（能够自动识别UTF-8或者GBK编码的文件），其实就是依照
fileencodings提供的编码列表尝试，若是没有找到合适的编码，就用latin-1（ASCII）编码打开。

4.文件编码转换

多平台方法：
iconv        提供标准的程序和API来进行编码转换；
convert_encoding.py    基于Python的文本文件转换工具；
decodeh.py    提供算法和模块来谈测字符的编码；

Linux:
recode    转换文件编码；
Utrac    转换文件编码；
cstocs    转换文件编码；
convmv    转换文件名编码；
enca    分析给定文件的编码；

Windows:
cscvt    字符集转换工具；

linux下文件编码转换：

方法一：

在Vim中直接进行转换文件编码，好比将一个文件转换成utf-8格式
　　:set fileencoding=utf-8

方法二：

iconv 转换

5.案例：

假如说咱们将windows下的一个UTF-8的文件传到linux环境下，linux环境下的系统编码是GB18030，咱们cat的时候就会出现乱码，这个时候就应该想到转码了，下面咱们来进行试验：

咱们将windows下一个名为UTF-8.sh的文件传到linux系统中，其中UTF-8.sh的内容以下：

我是中文编码UTF-8模式~

而linux系统的系统语言设置为：

[root@sor-sys zy]# cat /etc/sysconfig/i18n 
LANG=zh_CN.GB18030
SYSFONT="latarcyrheb-sun16"
这个时候查看一下文件的内容及编码：

[root@sor-sys zy]# file UTF-8.sh 
UTF-8.sh: UTF-8 Unicode text, with no line terminators
[root@sor-sys zy]# cat UTF-8.sh 
锘挎垜鏄腑鏂囩紪鐮乁TF-8妯″紡~[root@sor-sys zy]# 
[root@sor-sys zy]# 

这个时候咱们就须要转换编码了，记得使用iconv

[root@sor-sys zy]# iconv -f UTF-8 -t GB18030 UTF-8.sh -o GB18030.sh
[root@sor-sys zy]# cat GB18030.sh
??我是中文编码UTF-8模式~[root@sor-sys zy]# 
[root@sor-sys zy]# file GB18030.sh 
GB18030.sh: Non-ISO extended-ASCII text, with no line terminators
[root@sor-sys zy]# 

今天在Linux 下使用 Iconv 命令转换一个UTF8文件时，老是转换不成功。提示：

iconv: 未知 0 处的非法输入序列

后来使用 man iconv 查看，仍是没发现异常，由于命令格式都是正确的。后来找了许多资料才知道缘由，以下：

a. 在作编码转换的时候，若是你的源格式设定为 GB2312 的话，并且在转换成 UTF-8 的时候，发现程序会报“illegal input sequence at position xxxx”的错误。这是因为你以前的作的假定有问题。GB2312 是国标里面一个最小也是最先的中文编码标准。其中，只涵盖了 6,763 个汉字。因此你须要转换的文件的原始的格式可能并非 GB2312 编码。这个时候，你能够用 GB18030 作为源格式来进行转换。GB18030 是最新的国家标准，包含了 27,564 个汉字，并且向下兼容 GB2312 和 GBK。

b.另外，支持 Unicode 且 Free 的中文字库我推荐使用”文泉驿“。这好像也是目前为止，惟一的一个以支持 Unicode 为出发点的 Free 的中文字库。

后来我直接输入：iconv -f utf8 -t gb18030 aaa.txt > bbb.txt   就OK了。

还有一个enconv的程序能够用来猜想编码

vim看文本的话就简单多了

set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,iso-8859-1,gbk set encoding=utf-8