字符编码之间的相互转换

字符编码之间的相互转换UTF8与GBKC++UTF8编码转换CChineseCode一预备知识1，字符：字符是抽象的最小文本单位。它没有固定的形状（可能是一个字形），而且没有值。“A”是一个字符，“€”（德国、法国和许多其他欧洲国家通用货币的标志）也是一个字符。“中”“国”这是两个汉字字符。字符仅仅代表一个符号，没有任何实际值的意义。2，字符集：字符集是字符的集合。例如，汉字字符是中国人最先发明的字符，在中文、日文、韩文和越南文的书写中使用。这也说明了字符和字符集之间的关系，字符组成字符集（iso8859-1，GB2312/GBK，unicode）。3，代码点：字符集中的每个字符都被分配到一个“代码点”。每个代码点都有一个特定的唯一数值，称为标值。该标量值通常用十六进制表示。4，代码单元：在每种编码形式中，代码点被映射到一个或多个代码单元。“代码单元”是各个编码方式中的单个单元。代码单元的大小等效于特定编码方式的位数：UTF-8：UTF-8中的代码单元由8位组成；在UTF-8中，因为代码单元较小的缘故，每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个、三个或四个代码单元；UTF-16：UTF-16中的代码单元由16位组成；UTF-16的代码单元大小是8位代码单元的两倍。所以，标量值小于U+10000的代码点被编码到单个代码单元中；UTF-32：UTF-32中的代码单元由32位组成；UTF-32中使用的32位代码单元足够大，每个代码点都可编码为单个代码单元；GB18030：GB18030中的代码单元由8位组成；在GB18030中，因为代码单元较小的缘故，每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个或四个代码单元。5，举例：“中国北京香蕉是个大笨蛋”这是我定义的aka字符集；各字符对应代码点为：北00000001京00000010香10000001蕉10000010是10000100个10001000大10010000笨10100000蛋11000000中00000100国00001000下面是我定义的zixia编码方案（8位），可以看到它的编码中表示了aka字符集的所有字符对应的代码单元；北10000001京10000010香00000001蕉00000010是00000100个00001000大00010000笨00100000蛋01000000中10000100国10001000所谓文本文件就是我们按一定编码方式将二进制数据表示为对应的文本如00000001000000100000010000001000000100000010000001000000这样的文件。我用一个支持zixia编码和aka字符集的记事本打开，它就按照编码方案显示为“香蕉是个大笨蛋”如果我把这些字符按照GBK另存一个文件，那么则肯定不是这个，而是1100111111100011101111011011011011001010110001111011100011110110101101001111001110110001101111111011010110110000110100001010二，字符集1，常用字符集分类ASCII及其扩展字符集作用：表语英语及西欧语言。位数：ASCII是用7位表示的，能表示128个字符；其扩展使用8位表示，表示256个字符。范围：ASCII从00到7F，扩展从00到FF。ISO-8859-1字符集作用：扩展ASCII，表示西欧、希腊语等。位数：8位，范围：从00到FF，兼容ASCII字符集。GB2312字符集作用：国家简体中文字符集，兼容ASCII。位数：使用2个字节表示，能表示7445个符号，包括6763个汉字，几乎覆盖所有高频率汉字。范围：高字节从A1到F7,低字节从A1到FE。将高字节和低字节分别加上0XA0即可得到编码。BIG5字符集作用：统一繁体字编码。位数：使用2个字节表示，表示13053个汉字。范围：高字节从A1到F9，低字节从40到7E，A1到FE。GBK字符集作用：它是GB2312的扩展，加入对繁体字的支持，兼容GB2312。位数：使用2个字节表示，可表示21886个字符。范围：高字节从81到FE，低字节从40到FE。GB18030字符集作用：它解决了中文、日文、朝鲜语等的编码，兼容GBK。位数：它采用变字节表示(1ASCII，2，4字节)。可表示27484个文字。范围：1字节从00到7F;2字节高字节从81到FE，低字节从40到7E和80到FE；4字节第一三字节从81到FE，第二四字节从30到39。UCS字符集作用：国际标准ISO10646定义了通用字符集(UniversalCharacterSet)。它是与UNICODE同类的组织，UCS-2和UNICODE兼容。位数：它有UCS-2和UCS-4两种格式，分别是2字节和4字节。范围：目前，UCS-4只是在UCS-2前面加了0×0000。UNICODE字符集作用：为世界650种语言进行统一编码，兼容ISO-8859-1。位数：UNICODE字符集有多个编码方式，分别是UTF-8，UTF-16和UTF-32。2，按所表示的文字分类语言字符集正式名称英语、西欧语ASCII，ISO-8859-1MBCS多字节简体中文GB2312MBCS多字节繁体中文BIG5MBCS多字节简繁中文GBKMBCS多字节中文、日文及朝鲜语GB18030MBCS多字节各国语言UNICODE，UCSDBCS宽字节三，编码UTF-8：采用变长字节(1ASCII,2希腊字母,3汉字,4平面符号)表示，网络传输,即使错了一个字节，不影响其他字节，而双字节只要一个错了，其他也错了，具体如下：如果只有一个字节则其最高二进制位为0；如果是多字节，其第一个字节从最高位开始，连续的二进制位值为1的个数决定了其编码的字节数，其余各字节均以10开头。UTF-8最多可用到6个字节。UTF-16：采用2字节，Unicode中不同部分的字符都同样基于现有的标准。这是为了便于转换。从0×0000到0×007F是ASCII字符，从0×0080到0×00FF是ISO-8859-1对ASCII的扩展。希腊字母表使用从0×0370到0×03FF的代码，斯拉夫语使用从0×0400到0×04FF的代码，美国使用从0×0530到0×058F的代码，希伯来语使用从0×0590到0×05FF的代码。中国、日本和韩国的象形文字（总称为CJK）占用了从0×3000到0×9FFF的代码；由于0×00在c语言及操作系统文件名等中有特殊意义，故很多情况下需要UTF-8编码保存文本，去掉这个0×00。举例如下：UTF-16:0×0080=0000000010000000UTF-8:0xC280=1100001010000000UTF-32：采用4字节。优缺点UTF-8、UTF-16和UTF-32都可以表示有效编码空间(U+000000-U+10FFFF)内的所有Unicode字符。使用UTF-8编码时ASCII字符只占1个字节，存储效率比较高，适用于拉丁字符较多的场合以节省空间。对于大多数非拉丁字符（如中文和日文）来说，UTF-16所需存储空间最小，每个字符只占2个字节。WindowsNT内核是Unicode（UTF-16），采用UTF-16编码在调用系统API时无需转换，处理速度也比较快。采用UTF-16和UTF-32会有BigEndian和LittleEndian之分，而UTF-8则没有字节顺序问题，所以UTF-8适合传输和通信。UTF-32采用4字节编码，一方面处理速度比较快，但另一方面也浪费了大量空间，影响传输速度，因而很少使用。四，如何判断字符集1，字节序首先说一下字节序对编码的影响，字节序分为BigEndian字节序和LittleEndian字节序。不同的处理器可能不一样。所以，传输时需要告诉处理器当时的编码字节序。对于前者而言，高位字节存在低地址，低字节存于高地址；后者相反。例如，0X03AB,BigEndian字节序0000:030001:ABLittleEndian字节序是0000:AB0001:032，编码识别UNICODE，根据前几个字节可以判断UNICODE字符集的各种编码，叫做ByteOrderMask方法BOM：UTF-8:EFBBBF(符合UTF-8格式，请看上面。但没有含义在UCS即UNICODE中)UTF-16BigEndian：FEFF(没有含义在UCS-2中)UTF-16LittleEndian：FFFE(没有含义在UCS-2中)UTF-32BigEndian：0000FEFF(没有含义在UCS-4中)UTF-32LittleEndian：FFFE0000(没有含义在UCS-4中)GB2312：高字节和低字节的第1位都是1。BIG5，GBK&GB18030：高字节的第1位为1。操作系统有默认的编码，常为GBK，可以下载别的并升级。通过判断高字节的第1位从而知道是ASCII或者汉字编码。#includestdio.h#includewindows.h//GBK编码转换到UTF8编码intGBKToUTF8(unsignedchar*lpGBKStr,unsignedchar*lpUTF8Str,intnUTF8StrLen){wchar_t*lpUnicodeStr=NULL;intnRetLen=0;if(!lpGBKStr)//如果GBK字符串为NULL则出错退出return0;nRetLen=::MultiByteToWideChar(CP_ACP,0,(char*)lpGBKStr,-1,NULL,NULL);//获取转换到Unicode编码后所需要的字符空间长度lpUnicodeStr=newWCHAR[nRetLen+1];//为Unicode字符串空间nRetLen=::MultiByteToWideChar(CP_ACP,0,(char*)lpGBKStr,-1,lpUnicodeStr,nRetLen);//转换到Unicode编码if(!nRetLen)//转换失败则出错退出return0;nRetLen=::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,NULL,0,NULL,NULL);//获取转换到UTF8编码后所需要的字符空间长度if(!lpUTF8Str)//输出缓冲区为空则返回转换后需要的空间大小{if(lpUnicodeStr)delete[]lpUnicodeStr;returnnRetLen;}if(nUTF8StrLennRetLen)//如果输出缓冲区长度不够则退出{if(lpUnicodeStr)delete[]lpUnicodeStr;return0;}nRetLen=::WideCharToMultiByte(CP_UTF8,0,lpUnicodeStr,-1,(char*)lpUTF8Str,nUTF8StrLen,NULL,NULL);//转换到UTF8编码if(lpUnicodeStr)delete[]lpUnicodeStr;returnnRetLen;}//使用这两个函数的例子intmain(){charcGBKStr[]=我是中国人!;char*lpGBKStr=NULL;char*lpUTF8Str=NULL;FILE*fp=NULL;intnRetLen=0;nRetLen=GBKToUTF8((unsignedchar*)cGBKStr,NULL,NULL);printf(转换后的字符串需要的空间长度为：%d,nRetLen);lpUTF8Str=newchar[nRetLen+1];nRetLen=GBKToUTF8((unsignedchar*)cGBKStr,(unsignedchar*)lpUTF8Str,nRetLen);if(nRetLen){printf(GBKToUTF8转换成功！);}else{printf(GBKToU