字符编码笔记:ASCII,Unicode 和 UTF-8

作者: 阮一峰

日期: 2007年10月28日

今天中午,我突然想搞清楚 Unicode 和 UTF-8 之间的关系,就开始查资料。

这个问题比我想象的复杂,午饭后一直看到晚上9点,才算初步搞清楚。

下面就是我的笔记,主要用来整理自己的思路。我尽量写得通俗易懂,希望能对其他朋友有用。毕竟,字符编码是计算机技术的基石,想要熟练使用计算机,就必须懂得一点字符编码的知识。

一、ASCII 码

我们知道,计算机内部,所有信息最终都是一个二进制值。每一个二进制位(bit)有01两种状态,因此八个二进制位就可以组合出256种状态,这被称为一个字节(byte)。也就是说,一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从0000000011111111

上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为 ASCII 码,一直沿用至今。

ASCII 码一共规定了128个字符的编码,比如空格SPACE是32(二进制00100000),大写的字母A是65(二进制01000001)。这128个符号(包括32个不能打印出来的控制符号),只占用了一个字节的后面7位,最前面的一位统一规定为0

二、非 ASCII 编码

英语用128个符号编码就够了,但是用来表示其他语言,128个符号是不够的。比如,在法语中,字母上方有注音符号,它就无法用 ASCII 码表示。于是,一些欧洲国家就决定,利用字节中闲置的最高位编入新的符号。比如,法语中的é的编码为130(二进制10000010)。这样一来,这些欧洲国家使用的编码体系,可以表示最多256个符号。

但是,这里又出现了新的问题。不同的国家有不同的字母,因此,哪怕它们都使用256个符号的编码方式,代表的字母却不一样。比如,130在法语编码中代表了é,在希伯来语编码中却代表了字母Gimel (ג),在俄语编码中又会代表另一个符号。但是不管怎样,所有这些编码方式中,0--127表示的符号是一样的,不一样的只是128--255的这一段。

至于亚洲国家的文字,使用的符号就更多了,汉字就多达10万左右。一个字节只能表示256种符号,肯定是不够的,就必须使用多个字节表达一个符号。比如,简体中文常见的编码方式是 GB2312,使用两个字节表示一个汉字,所以理论上最多可以表示 256 x 256 = 65536 个符号。

中文编码的问题需要专文讨论,这篇笔记不涉及。这里只指出,虽然都是用多个字节表示一个符号,但是GB类的汉字编码与后文的 Unicode 和 UTF-8 是毫无关系的。

三. Unicode

正如上一节所说,世界上存在着多种编码方式,同一个二进制数字可以被解释成不同的符号。因此,要想打开一个文本文件,就必须知道它的编码方式,否则用错误的编码方式解读,就会出现乱码。为什么电子邮件常常出现乱码?就是因为发信人和收信人使用的编码方式不一样。

可以想象,如果有一种编码,将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码,那么乱码问题就会消失。这就是 Unicode,就像它的名字都表示的,这是一种所有符号的编码。

Unicode 当然是一个很大的集合,现在的规模可以容纳100多万个符号。每个符号的编码都不一样,比如,U+0639表示阿拉伯字母AinU+0041表示英语的大写字母AU+4E25表示汉字。具体的符号对应表,可以查询unicode.org,或者专门的汉字对应表

四、Unicode 的问题

需要注意的是,Unicode 只是一个符号集,它只规定了符号的二进制代码,却没有规定这个二进制代码应该如何存储。

比如,汉字的 Unicode 是十六进制数4E25,转换成二进制数足足有15位(100111000100101),也就是说,这个符号的表示至少需要2个字节。表示其他更大的符号,可能需要3个字节或者4个字节,甚至更多。

这里就有两个严重的问题,第一个问题是,如何才能区别 Unicode 和 ASCII ?计算机怎么知道三个字节表示一个符号,而不是分别表示三个符号呢?第二个问题是,我们已经知道,英文字母只用一个字节表示就够了,如果 Unicode 统一规定,每个符号用三个或四个字节表示,那么每个英文字母前都必然有二到三个字节是0,这对于存储来说是极大的浪费,文本文件的大小会因此大出二三倍,这是无法接受的。

它们造成的结果是:1)出现了 Unicode 的多种存储方式,也就是说有许多种不同的二进制格式,可以用来表示 Unicode。2)Unicode 在很长一段时间内无法推广,直到互联网的出现。

五、UTF-8

互联网的普及,强烈要求出现一种统一的编码方式。UTF-8 就是在互联网上使用最广的一种 Unicode 的实现方式。其他实现方式还包括 UTF-16(字符用两个字节或四个字节表示)和 UTF-32(字符用四个字节表示),不过在互联网上基本不用。重复一遍,这里的关系是,UTF-8 是 Unicode 的实现方式之一。

UTF-8 最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。

UTF-8 的编码规则很简单,只有二条:

1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的 Unicode 码。因此对于英语字母,UTF-8 编码和 ASCII 码是相同的。

2)对于n字节的符号(n > 1),第一个字节的前n位都设为1,第n + 1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的 Unicode 码。

下表总结了编码规则,字母x表示可用编码的位。

Unicode符号范围     |        UTF-8编码方式
(十六进制)        |              (二进制)
----------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟据上表,解读 UTF-8 编码非常简单。如果一个字节的第一位是0,则这个字节单独就是一个字符;如果第一位是1,则连续有多少个1,就表示当前字符占用多少个字节。

下面,还是以汉字为例,演示如何实现 UTF-8 编码。

的 Unicode 是4E25100111000100101),根据上表,可以发现4E25处在第三行的范围内(0000 0800 - 0000 FFFF),因此的 UTF-8 编码需要三个字节,即格式是1110xxxx 10xxxxxx 10xxxxxx。然后,从的最后一个二进制位开始,依次从后向前填入格式中的x,多出的位补0。这样就得到了,的 UTF-8 编码是11100100 10111000 10100101,转换成十六进制就是E4B8A5

六、Unicode 与 UTF-8 之间的转换

通过上一节的例子,可以看到的 Unicode码 是4E25,UTF-8 编码是E4B8A5,两者是不一样的。它们之间的转换可以通过程序实现。

Windows平台,有一个最简单的转化方法,就是使用内置的记事本小程序notepad.exe。打开文件后,点击文件菜单中的另存为命令,会跳出一个对话框,在最底部有一个编码的下拉条。

bg2007102801.jpg

里面有四个选项:ANSIUnicodeUnicode big endianUTF-8

1)ANSI是默认的编码方式。对于英文文件是ASCII编码,对于简体中文文件是GB2312编码(只针对 Windows 简体中文版,如果是繁体中文版会采用 Big5 码)。

2)Unicode编码这里指的是notepad.exe使用的 UCS-2 编码方式,即直接用两个字节存入字符的 Unicode 码,这个选项用的 little endian 格式。

3)Unicode big endian编码与上一个选项相对应。我在下一节会解释 little endian 和 big endian 的涵义。

4)UTF-8编码,也就是上一节谈到的编码方法。

选择完"编码方式"后,点击"保存"按钮,文件的编码方式就立刻转换好了。

七、Little endian 和 Big endian

上一节已经提到,UCS-2 格式可以存储 Unicode 码(码点不超过0xFFFF)。以汉字为例,Unicode 码是4E25,需要用两个字节存储,一个字节是4E,另一个字节是25。存储的时候,4E在前,25在后,这就是 Big endian 方式;25在前,4E在后,这是 Little endian 方式。

这两个古怪的名称来自英国作家斯威夫特的《格列佛游记》。在该书中,小人国里爆发了内战,战争起因是人们争论,吃鸡蛋时究竟是从大头(Big-endian)敲开还是从小头(Little-endian)敲开。为了这件事情,前后爆发了六次战争,一个皇帝送了命,另一个皇帝丢了王位。

第一个字节在前,就是"大头方式"(Big endian),第二个字节在前就是"小头方式"(Little endian)。

那么很自然的,就会出现一个问题:计算机怎么知道某一个文件到底采用哪一种方式编码?

Unicode 规范定义,每一个文件的最前面分别加入一个表示编码顺序的字符,这个字符的名字叫做"零宽度非换行空格"(zero width no-break space),用FEFF表示。这正好是两个字节,而且FFFE1

如果一个文本文件的头两个字节是FE FF,就表示该文件采用大头方式;如果头两个字节是FF FE,就表示该文件采用小头方式。

八、实例

下面,举一个实例。

打开"记事本"程序notepad.exe,新建一个文本文件,内容就是一个字,依次采用ANSIUnicodeUnicode big endianUTF-8编码方式保存。

然后,用文本编辑软件UltraEdit 中的"十六进制功能",观察该文件的内部编码方式。

1)ANSI:文件的编码就是两个字节D1 CF,这正是的 GB2312 编码,这也暗示 GB2312 是采用大头方式存储的。

2)Unicode:编码是四个字节FF FE 25 4E,其中FF FE表明是小头方式存储,真正的编码是4E25

3)Unicode big endian:编码是四个字节FE FF 4E 25,其中FE FF表明是大头方式存储。

4)UTF-8:编码是六个字节EF BB BF E4 B8 A5,前三个字节EF BB BF表示这是UTF-8编码,后三个E4B8A5就是的具体编码,它的存储顺序与编码顺序是一致的。

九、延伸阅读

(完)

留言(265条)

很有意思的内容
讲解得通俗易懂,非常感谢您用较长的时间学习,并用精简的语言概括

本人是计算机从业人员,对文中提到的知识也都基本了解,但是像阮兄这样,花了半天时间就弄清楚来龙去脉,同时讲述的如此清楚,实在佩服。

本帖有pmp嫌疑,但实在是不能不p啊 :)。我想,动手写过技术文章的人都会同意我的。

是啊,我这个超级菜鸟都看明白了,阮兄对技术的理解和说明能力叫人佩服,谢谢分享。

文章里说:UCS-2编码方式,即直接用两个字节存入字符的Unicode码。

那USC-2编码方式如何实现超过两个字节的符号的存储?谢谢

对了解字符编码很有帮助,谢谢!

引用只如初见的发言:
是啊,我这个超级菜鸟都看明白了,阮兄对技术的理解和说明能力叫人佩服,谢谢分享。

“延伸阅读”中第一个链接,才是真正的通俗易懂,我只是向他学习而已。

引用姬着的发言:
文章里说:UCS-2编码方式,即直接用两个字节存入字符的Unicode码。 那USC-2编码方式如何实现超过两个字节的符号的存储?谢谢

USC-2只能用存储两个字节的Unicode,超过这一范围的符号,它不能表示。


我是Annis,想邀请您参加拼搏到底FeedSky博客挑战赛,
这是一个很好的宣传、展示自己的机会,
有兴趣您可以自己到相关网站了解具体参赛细节。
http://www.feedsky.com/challenge/?u=141270

PS:本文只是主要介绍了UTF-8编码,下面这篇文章对于GB码与Big5有更详细的介绍。

汉字编码中现在主要用到的有三类,包括GBK,GB2312和Big5。

1、GB2312又称国标码,由国家标准总局发布,1981年5月1日实施,通行于大陆。新加坡等地也使用此编码。它是一个简化字的编码规范,当然也包括其他的符号、字母、日文假名等,共7445个图形字符,其中汉字占6763个。我们平时说6768个汉字,实际上里边有5个编码为空白,所以总共有6763个汉字。

GB2312规定“对任意一个图形字符都采用两个字节表示,每个字节均采用七位编码表示”,习惯上称第一个字节为“高字节”,第二个字节为“低字节”。GB2312中汉字的编码范围为,第一字节0xB0-0xF7(对应十进制为176-247),第二个字节0xA0-0xFE(对应十进制为160-254)。

GB2312将代码表分为94个区,对应第一字节(0xa1-0xfe);每个区94个位(0xa1-0xfe),对应第二字节,两个字节的值分别为区号值和位号值加32(2OH),因此也称为区位码。01-09区为符号、数字区,16-87区为汉字区(0xb0-0xf7),10-15区、88-94区是有待进一步标准化的空白区。


2、Big5又称大五码,主要为香港与台湾使用,即是一个繁体字编码。每个汉字由两个字节构成,第一个字节的范围从0X81-0XFE(即129-255),共126种。第二个字节的范围不连续,分别为0X40-0X7E(即64-126),0XA1-0XFE(即161-254),共157种。


3、GBK是GB2312的扩展,是向上兼容的,因此GB2312中的汉字的编码与GBK中汉字的相同。另外,GBK中还包含繁体字的编码,它与Big5编码之间的关系我还没有弄明白,好像是不一致的。GBK中每个汉字仍然包含两个字节,第一个字节的范围是0x81-0xFE(即129-254),第二个字节的范围是0x40-0xFE(即64-254)。GBK中有码位23940个,包含汉字21003个。

Bill再推荐一个网站 专门介绍汉字与汉字计算机化的 汉典 http://www.zdic.net/

http://www.zdic.net/


很强的网站,收藏

引用Bill的发言:
本文只是主要介绍了UTF-8编码,下面这篇文章对于GB码与Big5有更详细的介绍。

这篇网志中有两个地方需要补充一下,我忘了在原文中提到。

1.

国际标准化组织通过了一套ISO-8859-1的编码,规定了单字节256个符号的编码方式。目前,这是8位编码的国际标准。

2.

Unicode编码中表示字节排列顺序的那个文件头,叫做BOM(byte-order mark),FFFE和FEFF就是不同的BOM。

UTF-8文件的BOM是“EF BB BF”,但是UTF-8的字节顺序是不变的,因此这个文件头实际上不起作用。有一些编程语言是ISO-8859-1编码,所以如果用UTF-8针对这些语言编程序,就必须去掉BOM,即保存成“UTF-8—无BOM”的格式才可以,PHP语言就是这样。

我怎么用 notepad 保存成 UTF-8 后
用 UltraEdit 看 还是 FF FE 25 4E啊???

引用请教的发言:
我怎么用 notepad 保存成 UTF-8 后 用 UltraEdit 看 还是 FF FE 25 4E啊???
哦 知道了。 是UltraEdit 默认会以 UTF-16的方式打开UTF-8编码的文件, 要设置或者用Hex Workshop打开就可以看到楼主所说的效果。

(点击支持我)

这些字符是违反adsense规定的……

这么精彩的讲解,实在不得不向作者致敬!
内容讲解得非常详细但又通俗易懂,谢谢了~~

非常感谢

非常感谢,值得一看

标题“6. Unicode与UTF-8之间的转换”不严谨。

Unicode是一种字符集,概念比较抽象,你已经提到,它存储的时候必须用适当的编码方式。

你的标题的意思,实际上是UTF-16和UTF-8之间的转换。

至于windows notepad保存对话框的编码方式列表中列出“Unicode”这一个名字,实际上是一个通俗的称呼(来自windows NT的早期版本的习惯,一直沿用),指UTF-16,而不是严格的称呼。希望你行文不要受这个影响。

引用网友的发言:

标题“6. Unicode与UTF-8之间的转换”不严谨。

Unicode是一种字符集,概念比较抽象,你已经提到,它存储的时候必须用适当的编码方式。

你的标题的意思,实际上是UTF-16和UTF-8之间的转换。

UTF-16不等于unicode啊,不能混为一谈。

嗯,看完了長不少知識.

我只能这么说,看了那么多的对字符集的解释

这个绝对是最通俗易懂并且还解决了常见疑问的最好的文章 :)

收藏

很好的一编文章

好文章!收藏了!

楼主何不把ansi编码方式也说说!
让俺这样的小学新生借楼主的理解能力再学习一把.

学习了

引用Ruan YiFeng的发言:

UTF-16不等于unicode啊,不能混为一谈。


UTF-16扩充了Unicode,包括了一些稀有字符,想我们国家的满文,藏文等等,两者基本上等价

其实我认为,编码其实有2个意思。1.一个是把字符和数字对应起来(比如unicode和GBXXXX等)。2.还有就是相应在数字在计算机中的表示,也就是和字节序列对应起来(比如utf8,mbcs等)。
我有个问题,windows下的mbcs编码(2)用的编码(1)是不是GB系列的编码(1),而unicode编码(2)用的是unicode编码(1)

拜读。。。受益匪浅。。长见识了 。。顶楼主

很精彩啊

有时总想去搞清楚他们的区别,可总是无果而终。
讲的很通俗。收藏了。

通俗易懂,对楼主的付出表示感谢。
好文章,收藏!

Big endian 是大头,还是大尾?

本文充分展现了阮兄收集信息,总结和归纳信息的能力,佩服和学习!

非常感谢楼主提供的信息,支持个

挺好的,谢谢

谢谢

非常感谢楼主。

请继续写DBCS->UNICODE的文章

写得真不错!!

感谢阮兄精彩讲解...收获良多

另:能否稍微再增加点UTF-16,UTF-32的基本介绍和应用范围的介绍...

非常感谢这篇文章,我想请问一下,GBK和BIG5之间的关系是怎样的呢?是包含还是交集呢?

引用syjun37的发言:
非常感谢这篇文章,我想请问一下,GBK和BIG5之间的关系是怎样的呢?是包含还是交集呢?
完全不同的两套编码标准,对应不同的代码页。同样的字在big5和GBK中的编码是不一样的。

相当不错,这是我打算研究编码的时候看到的第一篇文章。几天之后再来评论!!

你在文中提到:“UTF-8最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度”。我在http://dev.csdn.net/develop/article/83/83012.shtm上看到:
以下是Unicode和UTF-8之间的转换关系表:

U-00000000 - U-0000007F: 0xxxxxxx

U-00000080 - U-000007FF: 110xxxxx 10xxxxxx

U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx

U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
该文中明显说到UTF-8不限于四个字节。
请问得到1-4个字节的结论是从哪里找到的?

引用Honeyhacker的发言:

该文中明显说到UTF-8不限于四个字节。
请问得到1-4个字节的结论是从哪里找到的?

早先的规定是,utf-8可以到6个字节。但是,这已经废除了,目前规定是只支持4个字节,大于U+001FFFFF的符号utf-8不再支持。具体请参阅wikipedia。

原来如此!感谢你的回复!再问一个问题,从网络中抓获的数据报,在用wireshark分析的时候,如何判断其中的哪些数据使用了Unicode编码?(从snort给出的信息中,该条数据确实有Unicode编码)。

前辈,计算机怎么知道三个字节表示一个符号,而不是分别表示三个符号呢
这个是怎么实现的呢,我有点不明白,还望回复一下,感激不尽。

或者这样说,两台主机通信的时候,A接收到B发送的消息后,它如何知道该报文采取的是什么编码类型?在报文的格式里面好像没有提到这一点吧!

引用Ruan YiFeng的发言:

UTF-16不等于unicode啊,不能混为一谈。

Windows 从 NT 开始,一开始的内码是 UCS-2,只支持 Unicode BMP 字符,后来做了扩充,目前的内码就是 UTF-16,通常不严格地称为 Unicode。

引用Honeyhacker的发言:
或者这样说,两台主机通信的时候,A接收到B发送的消息后,它如何知道该报文采取的是什么编码类型?在报文的格式里面好像没有提到这一点吧!
已经弄明白了!不可一概而论!

受益匪浅谢谢老师!

好文!是我看过的关于字符/字符集入门文章中最通俗易懂而又有效的一篇!

佩服,不得不顶,一直想搞清楚,今天总算清楚了一点

关于第8点:8. 实例
我照着做了,但是结果却不是这样,
后面三种方式显示的都是 FF FE 25 4E
这是怎么回事?
我用的是vista系统

通俗易懂,受益匪浅,谢谢指教!O(∩_∩)O~

很感谢 写的很生动 楞看了百度百科半天没懂。。。

谢谢
你们的讨论很精彩
这样才会有长进

一直对这些字符集和编码比较头疼,今天看了阮兄和大家的讨论,终于有点清楚了,谢谢阮兄给大家带来这么好的文章。

通俗易懂,我顶!

不错不错,写得太棒了!

写得不错。。

>需要注意的是,Unicode只是一个符号集,它只规定了符号的二进制>代码,却没有规定这个二进制代码应该如何存储。
>比如,汉字“严”的unicode是十六进制数4E25,转换成二进制数足>足有15位(100111000100101),也就是说这个符号的表示至少需>要2个字节。表示其他更大的符号,可能需要3个字节或者4个字节,甚>至更多。

有一点疑问,unicode编码使用2个字节也就是16位2进制数字来表示字符,那么在存储的时候,为什么会超过2个字节以上呢?
unicode所能定义的符号总共有65536个,而且里面的每一个符号都是用2个字节表示的,包括ascii码也都是在高位补零的,麻烦楼主解释一下

在实例8中,我这里ASCII码是D1 CF。但是其它的存储方式,打开都是显示 FF FE 25 4E,不论用什么方式存储?

非常生动形象,易于理解,很不错。

太感谢您的文章了,收藏了。
之前也看过几篇介绍utf8编码的,但都是语言生硬晦涩的长篇大论,感觉太专业、太复杂,看着头大。

这篇文章总结的很好,本来繁杂的东东,理得很清晰易懂。感谢!

vivi 说:

在实例8中,我这里ASCII码是D1 CF。但是其它的存储方式,打开都是显示 FF FE 25 4E,不论用什么方式存储?


我操作了,和你说的情况一样。

一知半解,误人子弟

我想把网站做成韩文的,不知道有什么好方法.

谢谢了!

写的很通俗 学懂了 谢谢!

第一个参考链接太难打开了,半天都没有载入,让人崩溃,改天再试。

阮大有空再来聊聊新字符集国标GB18030吧,Superset of gb2312.
参见:http://en.wikipedia.org/wiki/GB_18030

原来是这样,这下更清楚了。谢谢!

感谢,写的很清楚详细

写得太好了,感谢楼主的贡献

正在头痛这个编码的事,感谢楼主。
延伸阅读里的第一个链接是英文.再次证明,学好英文是一件多少重要的事。

写的通俗易懂,谢谢了!

此文从框架上说明了字符编码的套路。我见过太多的不明就里的人,写这样的文章,试图阐明字符编码系统,但限于其人先天上大脑逻辑混乱,后天上一知半解,结果就是胡说八道,情形就像:分不清class和instance的区别。

引用Harly的发言:

此文从框架上说明了字符编码的套路。我见过太多的不明就里的人,写这样的文章,试图阐明字符编码系统,但限于其人先天上大脑逻辑混乱,后天上一知半解,结果就是胡说八道,情形就像:分不清class和instance的区别。

非常同意ls的观点

字符编码是跨越电子通信和语言文字两大领域的庞大系统。其一是“编码”本身,伴随着电子和通信技术的发展一直在改进,同时也带来了许多legacy的产物;其二是“字符”,由于人类语言/书写系统的多样性和复杂性,将编码应用到语言文字上来又是一大难题,各种语言文字有各自的出发点和难点。因此,尝试解决这一混乱局面的UCS/Unicode实在是一项恢弘的工程。无怪乎lz在开头就说了,这个问题比他想象中复杂。

即使是现在最常见的7-bit ASCII,虽然看上去比较简单、且有些杂乱无章,实则每个字符的排布都经过了精心的设计,包括性能上的、工程上的、兼容性上的许多考虑因素。

另外,说起字符编码,就会有许多含糊不清、容易混淆的词汇,其中很多是基于历史原因,还有一些以讹传讹的和巧合的因素,这方面也是需要注意的。

对于大多数人来说,即使您已经系统地学习过数电/计算机课程,我仍然推荐阅读《编码的奥秘》。有较好的基础的人可以参考一下资料

http://scripts.sil.org/Home
http://www.unicode.org/standard/standard.html
http://msdn.microsoft.com/en-us/library/dd318661(v=VS.85).aspx

形象生动,易于理解!!!!牛

非常感谢lz的文章,介绍得很清楚。

写得很好,一直不太明白字符编码方面的东西

细想起来,可能这是我看到的最好一阐述编码的文章,精炼易懂,big endian和little endian来源的有趣介绍让人印象深刻

文章恒久远,一篇永流传。感谢阮兄的劳动!

big endian和little endian 应该有更好的译名:大、小端。在网络编程 和 嵌入式方面都是这样译。

刚研究UNICODE与ASCII之间的转换工具,突然想到为啥UTF-8和UNICODE长得这么像啊,如果Google了一下,看到这篇文章,真的不错。

通俗易懂,支持

正在学习编码 兄弟的文章通俗易懂 豁然开朗!

奇怪 我的“严”的UTF8二进制怎么都是fffe 254e??
试过记事本 ,emeditor,ultraedit都是

拜读了,最近正在弄Java的乱码问题,看完了明白了很多原理性的东西!

很有帮助啊,谢谢分享。转到我的QQ空间里了,慢慢看。

很好,通俗易懂。谢谢。

文中所提的大端法和小端法用来描述字节序列问题不够详细

非常好,网上搜了半天资料,还是这篇文章写得好!

很详细易懂,赞一个~

看了很多资料都没看懂,这下懂了!赞一个!o(≧v≦)o~~好棒

终于弄懂UTF-8了,谢谢。

以汉字”严“为例,Unicode码是4E25,需要用两个字节存储,一个字节是4E,另一个字节是25。

4E25不是code point吗?应该是经utf8转换为E4B8A5这三个字节才涉及字节序问题吧?

第四、五节不是很好理解。
很棒的文章。

转你的博客了,对我很有用。多谢。
另外文中连接的unicode的编码表里面数据貌似不对。

这篇文章真的很棒 谢谢

引用Ruan YiFeng的发言:

......
UTF-8文件的BOM是“EF BB BF”,但是UTF-8的字节顺序是不变的,因此这个文件头实际上不起作用。有一些编程语言是ISO-8859-1编码,所以如果用UTF-8针对这些语言编程序,就必须去掉BOM,即保存成“UTF-8—无BOM”的格式才可以,PHP语言就是这样。

UTF-8文件的BOM“EF BB BF”,它实际上就是FE FF用UTF-8编码而得到的

结合最常用的记事本来介绍Unicode,UTF-8. 太好了!!

引用网友的发言:

windows notepad保存对话框的编码方式列表中列出“Unicode”这一个名字,实际上是一个通俗的称呼(来自windows NT的早期版本的习惯,一直沿用),指UTF-16,而不是严格的称呼。希望你行文不要受这个影响。

这个说法很正确。的确换成utf-16准确点。mac osx这上面做得就很好。

引用水中鱼的发言:


UTF-16扩充了Unicode,包括了一些稀有字符,想我们国家的满文,藏文等等,两者基本上等价

记得utf-16是unicode的具体实现方法。你这种说法本来就有混淆概念。

这个可以用来分段读取UTF-8字符,不错

藏文最好的那种啊字符编码?如在QT里

非常感谢楼主的讲解,我想知道的你说了好多,这个地址收藏了

好东西 !谢谢 峰哥 的总结 与 无私奉献!我不用再 苦苦 搜索了!谢谢

引用chen3feng的发言:

Windows 从 NT 开始,一开始的内码是 UCS-2,只支持 Unicode BMP 字符,后来做了扩充,目前的内码就是 UTF-16,通常不严格地称为 Unicode。

unicode是字符集,UTF-16是编码方式。。。 不严格地成为Unicode是咋个意思。。

写得很清楚,非常受用。谢谢作者。

写的真的挺不错的! 顶

Windows 7 簡體中文版用的是GBK編碼,兼容GB2312。

你好,目前被一个问题困扰。。。
是这样的,有一被压缩过的流没有解压而直接被转化成字符串了(当然是乱码了),这是新浪的一个云应用FetchURL干的。。。我看了他们的源码,直接用apache提供的包中的EntityUitls中的toString方法转化成字符串了,所以我在发送请求的时候在加上请求头Accept-Encoding:gzip,他们没有解压就直接转化成字符串了。问题来了,我现在的作法是把这个字符串转化成字节,然后解压,具体的作法是:用String类中的getBytes(Charset),然后InputStream in1 = new GZIPInputStream(new ByteArrayInputStream(bytes1)),这里报错了,这个bytes1的字节已经不是1f 8b开头的,也就是说不是压缩过的模式了,求解。。。为什么。。难道EntityUitls,把压缩过的流转化为字符串的时候丢了字节码,还是什么情况(这里有个特例,就是ISO-8859-1可以还原,其余都不行)。。。

写的太好了。有个问题想请教下,mysql中是如何用latin1来存中文的。

@残阳:

关于使用ISO-8859-1,我认为是因为:
“ISO-8859-1 字符集的编码范围是 0000-00FF,正好和一个字节的编码范围相对应。这种特性保证了使用 ISO-8859-1 进行编码和解码可以保持编码数值“不变”。虽然中文字符在经过网络传输时,被错误地“拆”成了两个欧洲字符,但由于输出时也是用 ISO-8859-1,结果被“拆”开的中文字的两半又被合并在一起,从而又刚好组成了一个正确的汉字。”

具体可以看搜到的这篇blog:
http://www.ibm.com/developerworks/cn/java/j-lo-chinesecoding/

确实深入浅出,不错!

前几天才从fanfou看到linus的帖
今天找编码 就又找到这里

非常感谢您的分享,我一直在纳闷计算机是如何判断utf-8中的ascii部分,现在完全清晰了,额,竟然一直没发现ascii保留了最高位为0……

"因此,第一个字节在前,就是”大头方式“(Big endian),第二个字节在前就是”小头方式“(Little endian)。
那么很自然的,就会出现一个问题:计算机怎么知道某一个文件到底采用哪一种方式编码?
Unicode规范中定义,每一个文件的最前面分别加入一个表示编码顺序的字符,这个字符的名字叫做”零宽度非换行空格“(ZERO WIDTH NO-BREAK SPACE),用FEFF表示。这正好是两个字节,而且FF比FE大1。
如果一个文本文件的头两个字节是FE FF,就表示该文件采用大头方式;如果头两个字节是FF FE,就表示该文件采用小头方式。"

文中的big endian 和 little endian,翻译成“大尾”和“小尾”是不是更恰当?理由如下:
FEFF: FF 比 FE大且FF在后面,显示就是“大尾”

另外你在延伸阅读中提到的文章也是翻译成“大尾”和“小尾” (谈谈Unicode编码)

哈哈,谢谢啊。
我有个私人问题可以问一下吗?
就是如果有了新字符的话?如何添加到Unicode里呢?怎么向Unicode或者国家申请吗?会通过吗?

我有个疑问“ANSI:文件的编码就是两个字节“D1 CF”,这正是“严”的GB2312编码,这也暗示GB2312是采用大头方式存储的”

请阮兄指教,不是说用FE,FF来表示大端和小端吗,为啥说从上面的编码可以看出是采用大头方式的呢

感谢阮老师,和所引用资料的作者。好文,清晰易懂。

我只想说:我很感动,感动楼主的清晰易懂,一天的bug,终于在此贴解决,,,苦逼的程序员,,,想哭 。。。。

这个问题也是我一直想弄清楚的,今天终于找到了篇好的文章,受益匪浅啊,感谢博主!

感谢楼主!要是大学教材都用这种风格来编写,估计四年的计算机课程,真正在读书的1年就够了!!

utf-8的设计的确很巧妙:“2)对于n字节的符号(n>1),第一个字节的前n位都设为1【后面有几个字节兄弟们,就设计几个的显示位!计算机首先读到的,就是应该作为一组来解析的字节兄弟总数】,第n+1位设为0【表示显示位结束!】,后面字节的前两位一律设为10【表示这些字节都是被刚才那个leader领导的兄弟们】……”

另请教一下,对于在128—255的ASCII扩展字符,由于利用了最高位,应该就是与utf-8不一样了吧?

一直对 utf-8 unicode 很模糊,这篇完整讲的太到位了

可是,以ANSI方式保存的文本文档也能正常显示中文啊~

好早的文章,居然被人推荐过来了,真是很好的科普文章。

关于 UTF-8,它有一个非常好的特性文中应该顺带提一下:虽然不同的字符字节数不同,但是任何一个字符不会是另一个字符的一部分。这使得基于字节的字符串匹配算法可以直接应用在 UTF-8 上。一些新兴的语言,如 Go ,字符串处理方面有很大部分是针对 UTF-8 编码的,个人感觉是空间、执行效率以及编程复杂度比较好的平衡。

很容易理解。

引用姬着的发言:

文章里说:UCS-2编码方式,即直接用两个字节存入字符的Unicode码。

那USC-2编码方式如何实现超过两个字节的符号的存储?谢谢

ucs2不能实现两字节以上字符,得使用支持4字节的utf16,我的博客 字符编码入门有提及

再看一遍效果又不同了,证明自己没懂。

阮老师的文章,绝对值得一读。以前写java的,对底层了解相对缺失,现在写C++遇到这类问题极为棘手。拜读了

讲得通俗易懂,很明白。谢谢作者!

这样的基础的东西很好。

好文章,不太长的文章能把事情都说明白,很不简单。

太有帮助了,我以前从没真正弄懂过字符编码...

有个问题请教一下,Unicode编码指的是UCS-2编码方式,即直接用两个字节存入字符的Unicode码。那对于Unicode编码超过两个字节的,就没法保存了?

引用平和的心的发言:

有个问题请教一下,Unicode编码指的是UCS-2编码方式,即直接用两个字节存入字符的Unicode码。那对于Unicode编码超过两个字节的,就没法保存了?

还有UCS-4呗,当然UCS-2用的比较多而已,可编码的汉字也仅仅是个子集而已。

这么精彩的讲解,实在不得不向作者致敬!
内容讲解得非常详细但又通俗易懂,谢谢了~~

你好,我用uncode保存“严”, 用hex查看是:e4 b8 a5 00 c4 00。而后三个字节,00 c4 00会因为的我保存一直在变化,有的时候会是 00 ee 3e,有的时候直接空了~

我用的win7

后来,经过尝试,又出现了BOM,显示为文中提到的ff fe 25 4e

这种情况最让人蛋疼了,搞不清是为什么~
求教楼主

一直对这一块没有完全弄明白,博主真是个打破沙锅问到底的人。感谢博主的精彩文章。

博主,这事我迄今看过最通俗易懂的 关于编码的文章了,太感谢了。之前看过其他很多,都是一头雾水。。

近期发现您的文章,觉得很多都值得收藏,通俗易懂!非常感谢分享知识和想法

一点小小的问题,有一个地方『根据』的『根』写为了『跟』,变成了『跟据』

非常感谢。通俗易懂。

非常通俗易懂

非常有用,受益匪浅,感谢!

UTF-8的表示算法:既然第一个字节的"1"的数量就表示了整个当前字符的字节数,为什么后续字节还需要"10"作为前缀,这不是白白浪费了每个字节中的两个位吗?

引用mll的发言:

UTF-8的表示算法:既然第一个字节的"1"的数量就表示了整个当前字符的字节数,为什么后续字节还需要"10"作为前缀,这不是白白浪费了每个字节中的两个位吗?


也许是出于容错的考虑,网络传输或者兼容不够不严谨的编辑器,删掉汉字等字节字符中的部分字节,会使得整串字符乱码

如果早点看到楼主的文章,今天腾讯的实习生笔试就又多一层把握了!

破特么几吧文章 什么特么鸡巴玩意儿

就这文章水平 我就呵呵了

感觉博大精深。但依旧受益匪浅。
谢谢lz

博主您好,我认为第5段表格中关于4字节的UTF-8编码可表示的 Unicode Code Point 的范围应该是:

0001 0000-001F FFFF

顶一个 讲的很透彻。

感谢楼主的文章,传道授业解惑也

引用mll的发言:

UTF-8的表示算法:既然第一个字节的"1"的数量就表示了整个当前字符的字节数,为什么后续字节还需要"10"作为前缀,这不是白白浪费了每个字节中的两个位吗?


试想,当你处在一个字符串中间时,你不知道当前是一个什么字符,使用UTF-8能帮你在这种情况下同步到下一个合法字符,否则是不可能的。

谢谢你的精彩分享。但有一个疑问:
"Unicode当然是一个很大的集合,现在的规模可以容纳100多万个符号",我的初步理解是:Unicode既然是2字节的,那么按理说不会超过256*256个字符才对。这里的“100多万个符号”个中来由,可否细谈下?

引用chenjw的发言:

谢谢你的精彩分享。但有一个疑问:
"Unicode当然是一个很大的集合,现在的规模可以容纳100多万个符号",我的初步理解是:Unicode既然是2字节的,那么按理说不会超过256*256个字符才对。这里的“100多万个符号”个中来由,可否细谈下?

是的,我也有这个疑问,能否请教楼主,望来信告知![email protected]

引用xiaobin的发言:

写的太好了。有个问题想请教下,mysql中是如何用latin1来存中文的。

嗯,关于mysql这边,我也有一个问题。
我这边有一个mysql是默认的latin1的编码,我的应用是java写的,我想:“不管mysql的编码如何,我只要在java应用对编码做正确的转换,那么就应该能够在写入和读出mysql时不出现乱码才对。”,请问这个想法是否正确呢?

引用柚子的发言:

是的,我也有这个疑问,能否请教楼主,望来信告知![email protected]

阮大哥的文章有说过哦,传送门:http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

引用chenjw的发言:

谢谢你的精彩分享。但有一个疑问:
"Unicode当然是一个很大的集合,现在的规模可以容纳100多万个符号",我的初步理解是:Unicode既然是2字节的,那么按理说不会超过256*256个字符才对。这里的“100多万个符号”个中来由,可否细谈下?

unicode是字符集, 不是存储方式, 这个搞明白.
通常所说2个字节的unicode实际上是指utf-16, 这应该是winnt遗留下来的叫法. 实际上unicode包括8位,16位,32位等存储方式. 其中u8和u32都可以最多用4Byte表示一个字符. 而u16最多用2Byte表示.

【USC-2只能用存储两个字节的Unicode,超过这一范围的符号,它不能表示。】
这个说法是错误的。记事本的ucs-2存储方式类同于utf-16的存储方式。

引用chenjw的发言:

谢谢你的精彩分享。但有一个疑问:
"Unicode当然是一个很大的集合,现在的规模可以容纳100多万个符号",我的初步理解是:Unicode既然是2字节的,那么按理说不会超过256*256个字符才对。这里的“100多万个符号”个中来由,可否细谈下?

Unicode的编码空间从U+0000到U+10FFFF,共有1,112,064个码位(code point)可用来映射字符. Unicode的编码空间可以划分为17个平面(plane),每个平面包含216(65,536)个码位。
17个平面的码位可表示为从U+xx0000到U+xxFFFF,其中xx表示十六进制值从0016到1016,共计17个平面。(Plane 0,1,2,....9,a,b,c,d,e,f,10)
第一个平面称为基本多语言平面(Basic Multilingual Plane, BMP),或称第零平面(Plane 0)。其他平面称为辅助平面(Supplementary Planes)。

基本多语言平面内,从U+D800到U+DFFF之间的码位区段是永久保留不映射到Unicode字符。UTF-16就利用保留下来的0xD800-0xDFFF区段的码位来对辅助平面的字符的码位进行编码。

好文章就是好文章,都过了这么多年,我不记得了还是来找这篇文章看看。07年到14年

最近在写编码方面的一个系列,搜到这里来了,感觉文中对Unicode及UTF-8这两个不同层面还是没说透,可参考我已经写好的一些http://my.oschina.net/goldenshaw/blog?catalog=536953,讲得比较详细。

另:文中说记事本用的所谓Unicode是UCS-2,其实早就应该是UTF-16了,至少我的系统里已经是UTF-16,而不是什么UCS-2,UCS-2只有两字节,根本无法保存U+FFFF以上码点的字符。

嗯,虽然有些名词概念讲的不是很清楚,但通俗易懂,还算不错。
其实博主着重过的语句主要是讲字符集和字符编码关系,例如:“UTF-8是Unicode的实现方式之一”这句话,Unicode就是字符集,它规定一个字符对应的编码,比如博主说的“严”对应的编码是4E25。而UTF-8是字符编码,它规定在内存中应该以怎样的方式来存储4E25,类似的对应Unicode字符集的字符编码还有UTF-16等。
最后补充下博主说的大端序(BE)和小端序(LE):每个字节内的比特位不会受大端和小端的影响,例如20H,在大端和小端中的内存顺序都是00100000。

总结的太好了,节省了好多时间,非常感谢你!

引用ChanneW的发言:

可是,以ANSI方式保存的文本文档也能正常显示中文啊~

ANSI(注意拼写不是ASCII)并不是“一种”编码,而是“多种”编码的统称。在简体中文Windows上,ANSI指GBK编码;在繁体中文Windows上,ANSI指Big5编码;在英文Windows上,ANSI指cp437编码。

如果UTF8无BOM的情况下,程序应如何识别呢?

正需要

阮一峰老是说:


UTF-8的编码规则很简单,只有二条:
1)对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的。
2)对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。

其中第2点,对于n字节的符号的理解是不是有偏差呢?
再看具体的编码:


Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

其中Unicode 0080~07FF段 和 Unicode 0800~FFFF段都是两个字节,却不适用于第2)条 规则的。

就像它的名字都表示的
改成
就像它的名字所表示的

很不错 好文章就是解惑有启发

醍醐灌顶

还没看完就赶紧过来留言了,感谢博主,这就是我关心的问题,哈哈,给你个赞。

写的太好了.找了好多篇文章,峰哥的这篇深入浅出,让我止不住的想盲目膜拜一下.

嗯!Comments ,wonderfully!

对我的帮助很大。。谢谢你。。。

你好, 请教一个问题。 已让我寝食难安好几天了。如下所示:
mysql会话中执行status:
Server characterset: latin1
Db characterset: latin1
Client characterset: latin1
Conn. characterset: latin1
表结构:
CREATE TABLE `t3` (
`data` varchar(10) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1

mysql> insert into t3 select '严';
mysql> select data,hex(data) from t3;
+------+-----------+
| data | hex(data) |
+------+-----------+
| 严 | E4B8A5 |
+------+-----------+
奇怪! 不是latin1吗?怎么和utf8没有区别呢?

我也正在做一个编码的转换,请问如何将ansi编码转换成utf-8编码呢?
我曾经试着手动把unicode编码转换为Utf-8编码就是简单地遍历所有的字节数组,然后把0和1删除。不知道这样做对吗?
现在问题是怎么把ansi编码转成utf-8呢?
或者把ansi编码转成完全是字节数组的十六进制表示?

原文:
Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

最后一行应该是 0001 0000-001F FFFF

"UTF-8最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号"

应该是1~6个字节

请允许我叫你阮兄,哈哈,虽然我才大一计算机专业的学生,不过很喜欢看阮兄你的文章

unicode编码转utf8编码js实现,代码感觉写的不是很好,看到可以简化一下,
var unicodeToUTF8 = function(unicode) {
if(unicode >= 0x00000000 && unicode return unicode;
}
else if(unicode >= 0x00000080 && unicode var r1 = (((unicode & 0x7C0) >> 6)|0xC0) var r2 = (unicode & 0x03F)|0x80;
return r1 | r2;
}
else if(unicode >= 0x00000800 && unicode var r1 = (((unicode & 0xF000) >> 12)|0xE0) var r2 = (((unicode & 0x0FC0) >> 6)|0x80) var r3 = ((unicode & 0x003F)|0x80);
return r1 | r2 | r3;
}
else if(unicode >= 0x00010000 && unicode var r1 = (((unicode & 0x1C0000) >> 18)|0xE0) var r2 = (((unicode & 0x03F000) >> 12)|0x80) var r3 = (((unicode & 0x000FC0) >> 6)|0x80) var r4 = ((unicode & 0x00003F)|0x80);
return r1 | r2 | r3 | r4;
}
else {
return false;
}
}

写的真的是通俗易懂,深入浅出,很让我这样的小白受益啊。感谢感谢

"EF BB BF" 这个是windows的text editor添加的BOM,用其他的编辑器不一定会出现。

已知"严"的unicode是4E25(100111000100101),根据上表,可以发现4E25处在第三行的范围内(0000 0800-0000 FFFF)这个是啥意思?怎么对应起来的?

感谢作者的讲解,通俗易懂!看过明白很多。

引用柚子的发言:

是的,我也有这个疑问,能否请教楼主,望来信告知![email protected]

统一码的编码方式与ISO 10646的通用字符集概念相对应。目前实际应用的统一码版本对应于UCS-2,使用16位的编码空间。也就是每个字符占用2个字节。这样理论上一共最多可以表示216(即65536)个字符。基本满足各种语言的使用。实际上当前版本的统一码并未完全使用这16位编码,而是保留了大量空间以作为特殊使用或将来扩展。

上述16位统一码字符构成基本多文种平面。最新(但未实际广泛使用)的统一码版本定义了16个辅助平面,两者合起来至少需要占据21位的编码空间,比3字节略少。但事实上辅助平面字符仍然占用4字节编码空间,与UCS-4保持一致。未来版本会扩充到ISO 10646-1实现级别3,即涵盖UCS-4的所有字符。UCS-4是一个更大的尚未填充完全的31位字符集,加上恒为0的首位,共需占据32位,即4字节。理论上最多能表示231个字符,完全可以涵盖一切语言所用的符号。

基本多文种平面的字符的编码为U+hhhh,其中每个h代表一个十六进制数字,与UCS-2编码完全相同。而其对应的4字节UCS-4编码后两个字节一致,前两个字节则所有位均为0。

关于统一码和ISO 10646及UCS的详细关系,见通用字符集。
维基百科上,有辅助平面字符

通俗易懂

受益匪浅

您好,非常感谢,真的是通俗易懂,果然是大神

发现文章中有个地方写差了:
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

应该是:
0001 0000-001F FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

再次感谢。

文中

```
Unicode符号范围(十六进制) | UTF-8编码方式(二进制)
--------------------|---------------------------------------------
0000 0000 - 0000 007F | 0xxxxxxx
0000 0080 - 0000 07FF | 110xxxxx 10xxxxxx
0000 0800 - 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000 - 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
```

的最后一行应该为

```
Unicode符号范围(十六进制) | UTF-8编码方式(二进制)
--------------------|---------------------------------------------
0000 0000 - 0000 007F | 0xxxxxxx
0000 0080 - 0000 07FF | 110xxxxx 10xxxxxx
0000 0800 - 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000 - 001F FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
```

1、Unicode符号范围的最大值为什么是 0X10FFFF ?
2、0X10FFFF 的二进制是 00010000 11111111 11111111 ,很明显它是三个字节的,那么对应转成utf8的规则就是1110xxxx 10xxxxxx 10xxxxxx ,可是为什么文中要对应成 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx,我想知道,这张表是按什么规律生成的?

清晰,易懂。

讲得简洁易懂,棒

感谢博主!最近在解决java用jni调用C++中的一些编码方式问题,这篇文章深入浅出、讲解得清晰又易懂!帮了我大忙了,又学了些知识

真难想象博主在07年就整理出这详尽的计算机文档, 在零散的互联网知识里面你的 Blog最能激发我认真阅读的兴趣! :)

经典,通俗易懂,条例清晰。

好的文章,十年后有人看了都会忍不住回复。

文章通俗易懂,赞

知识果然不易过时,收藏~~

非常有用的文章!! 謝謝你~~

老师好,下面这句话我应该怎么理解呢?
《这里就有两个严重的问题,第一个问题是,如何才能区别Unicode和ASCII?计算机怎么知道三个字节表示一个符号,而不是分别表示三个符号呢?》

既然不同的编码会用不同的编码解读,那么怎么会出现不能区分Unicode和ASCII的问题?我用ASCII解读不就可以了吗?

所以我太懂这个问题的怎么出现的?

看过老师很多文章,每一篇都是好文,感谢老师分享

引用伯格的发言:

老师好,下面这句话我应该怎么理解呢?
《这里就有两个严重的问题,第一个问题是,如何才能区别Unicode和ASCII?计算机怎么知道三个字节表示一个符号,而不是分别表示三个符号呢?》

既然不同的编码会用不同的编码解读,那么怎么会出现不能区分Unicode和ASCII的问题?我用ASCII解读不就可以了吗?

所以我太懂这个问题的怎么出现的?

用unicode编码的文件,所有的字符都用两个字节编码,ASCII也是,所以不会存在这个区分的问题

你太有教育人的天賦了。我現在編程有不明白的地方,如果是基礎的不理解,就找你的網來讀!都能明白!真棒!謝謝

参考这个utf8编码对照表更清晰,来自https://en.wikipedia.org/wiki/UTF-8

Number Bit for first last
of bytes code points code points code points Byte 1 Byte 2 Byte 3 Byte 4
1 7 U+0000 U+007F 0xxxxxxx
2 11 U+0080 U+07FF 110xxxxx 10xxxxxx
3 16 U+0800 U+FFFF 1110xxxx 10xxxxxx 10xxxxxx
4 21 U+10000 U+10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

读了你很多文章了,这篇也有收获。 这个例子做了一个unicode到UTF-8字符集的掩码运算,mark到这里备忘。
汉字 严的 unicode码点 4E25
0100 1110 0010 0101
1110 xxxx 10xx xxxx 10xx xxxx
1110 0100 1011 1000 1010 0101

谢谢分享,真的很感谢,愿意分享的自己知识的人都是好样的!

1,
ascii码由美国人发明,长度为一个字节,8个二进制,最长表示256个字符,
标准的ascii为128个,前面一个bit为0,用后面7位表示128个ascii码。
2,
为了兼容世界所有字符,重新编了一套Unicode,每个符号给予独一无二的编码,
现在可容纳100多万字符,这就意味着Unicode的编码变得特别多,也就不可能用1个
字节表示ASCII吗,因为解码的时候所有比特连在一起,会将你本来用来表示ascii码的
一个字节混淆(因为unicode编码太多,此ascii的编码可能与Unicode某个编码中的某
一段重复);所以必须加长用来表示ascii的编码,以进行区别,但这就带来一个浪费内
存的问题。
3,
所以出现了utf8,它用前N+1个比特表示它的长度N(除了单字节是用一个0比特表示,这时
的utf8编码与ascii编码一致,都是一个字节),后面的编码直接从Unicode编码里面拿。所以它
不是全新的编码,是Unicode的一种实现方式,相比而言节省了内存(尤其是在以英文居多的时候)。

在这篇文章刚好十年的时候看到了。。。

10 year anni

十年后来看一下,当时阮哥的博客略显青涩哦。

引用心声的发言:

您好,非常感谢,真的是通俗易懂,果然是大神

发现文章中有个地方写差了:
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

应该是:
0001 0000-001F FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

再次感谢。

UTF-8的最大值之所以是 10FFFF 而不是 1FFFFF 是因为Unicode的范围是 U+0-10FFFF
下面的链接是Unicode的范围设置原因讨论的帖子
http://unicode.org/mail-arch/unicode-ml/Archives-Old/UML021/0881.html

每个字符在Unicode里面的位置是一定的,为什么不能直接使用这个位置进行二进制存储呢,也能做到动态大小存储吧?

最近在找字符编码的文章,看了好几篇,果然还是阮老师的最清晰易懂!

配合历史来解读真的是通俗易懂并且更能知道为什么,赞!

引用小张的发言:

每个字符在Unicode里面的位置是一定的,为什么不能直接使用这个位置进行二进制存储呢,也能做到动态大小存储吧?

我理解的是UTF-32貌似就是你说的这样直接使用这个位置进行存储的,不过不能动态大小了,每个字符统一4个字节,太浪费了

引用网友的发言:

标题“6. Unicode与UTF-8之间的转换”不严谨。

Unicode是一种字符集,概念比较抽象,你已经提到,它存储的时候必须用适当的编码方式。

你的标题的意思,实际上是UTF-16和UTF-8之间的转换。

至于windows notepad保存对话框的编码方式列表中列出“Unicode”这一个名字,实际上是一个通俗的称呼(来自windows NT的早期版本的习惯,一直沿用),指UTF-16,而不是严格的称呼。希望你行文不要受这个影响。

引用Ruan YiFeng的发言:

UTF-16不等于unicode啊,不能混为一谈。


我觉得那位网友理解的很对啊,nodepad里面的Unicode指的就是UTF-16, 不是他混淆了,而是应用软件混淆了。再说Unicode怎么会有大端序和小端序,这些都是现代编码模型第三层的概念,主要用于存储与传输。

通俗易懂,写的真心好。

非常深入淺出的文章
值得收藏

图表 《Unicode符号范围 》中 4 字节的 Unicode 字符集范围应该是

0001,0000 - 001FFFFF

而不是

0001,0000 - 0010FFFF

补充:
根据 2003 年的 RFC 3629 规范
见: https://zh.wikipedia.org/wiki/UTF-8

最大的范围调整为四个字节即:

0001,0000 - 0010FFFF

所以作者的是对的.

严用ANSI保存后,UltraEdit右键打开看到的是D2 8F,此时将文件保存成其他编码格式再保存回ANSI,UltraEdit提示重新加载,重新加载后看到的才是D1 CF,这是为何,请教各位老哥

现在可以往后写了。晚上回家,从车上看到现在。从Ascii看到全栈设计看到多端UI设计。都可以写一部互联网发展史了。

我的理解是字符编码就是为字符建立一张映射表,关系为:数字=>字符(字符这个概念有点混淆,反正指任何字符或字符串都可以)

请问UTF-8第一位不是符号位吗

4E25,转换成二进制数足足有15位(100111000100101),这个地方的100111000100101 不应该是 1001 1100 0100 1001 吗?

强,讲的太通俗易懂了

需要把 编码表 和 编码方式 区分开就好明白了

不知道作者会不会看留言,文中有个示例,不知道是我理解有问题,还是怎么得

Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

一个字节不是8位吗?那FF是一个字节啊,0001 0000-0010 FFFF这不是8个字节吗?什么情况……,我理解错了吗?

看了一遍,还是很蒙蔽,再多理解几遍吧

@椰汁菠萝:

unicode这里是范围哦。比如7f是127,符合ascii单字节。左边是范围,右边是utf8的表示

可以啊,一个博客七分之一是内容,其余是评论,确实比较通俗

用notepad以utf-8存字, 再用Hex Workshop打開,
EFBBBFE4B8A5
^^^^^^
怎麼會多出來這些東西呢?

拜读一遍,受益匪浅,感谢您的学习总结

都 2020 年了,Google搜索还是第一条结果,666~

太强了。2020年了,还能看到07年从产物。

引用Ruan YiFeng的发言:

这篇网志中有两个地方需要补充一下,我忘了在原文中提到。

1.

国际标准化组织通过了一套ISO-8859-1的编码,规定了单字节256个符号的编码方式。目前,这是8位编码的国际标准。

2.

Unicode编码中表示字节排列顺序的那个文件头,叫做BOM(byte-order mark),FFFE和FEFF就是不同的BOM。

UTF-8文件的BOM是“EF BB BF”,但是UTF-8的字节顺序是不变的,因此这个文件头实际上不起作用。有一些编程语言是ISO-8859-1编码,所以如果用UTF-8针对这些语言编程序,就必须去掉BOM,即保存成“UTF-8—无BOM”的格式才可以,PHP语言就是这样。


可以这样理解吗?
因为PHP编程中都是使用的英文或普通的标点符号,所以文件格式保存为UTF-8无BOM格式时,实际等同ASCII编码,ISO-8859-1兼容ASCII所以可以正确读取执行utf-8的文件并自行代码。如果存在超出UTF-8单字节表示的字符,即使使用UTF-8无BOM保存,PHP也无法执行。

谢谢阮一峰老师!!收获很多!!

写的太好了,通俗易懂!

最近看了不少的博客,始终云里雾里的,直到博主的文章,感谢博主。但我还是有个问题,在java中char的长度是2字节,如果一个字符的unicode编码超过两个字节,java中char怎么表示呢

的确写的很好,谢谢作者

各位说的都对,但对于初学者来说还是不太理解。Unicode 与 UTF-16 的关系结合时间去观察就一目了然了。

维基百科-Unicode 上来看:

Unicode 第一版发行于 1991.10,收录字符 7,161;
1999.9 发行第三版,收录字符 49,259;
2001.3 发行版本3.1,收录字符 94,205;

大家都知道 2 字节可表示的字符数理论上是 2^16=65,536,对照Unicode发行版本,直到 3.1 发行以前,Unicode 字符码点与UTF-16编码都是相同的。

现在都 2021 年了,win10 系统上 notepad 已不再有 unicode 的编码选项,但我猜想之前版本的 Unicode 选项的出现可能是基于以上的历史原因。

这两天,深入了解了一些字符与编码,惊叹前辈们的智慧之后,又觉得太麻烦了,怎么这么麻烦!?累觉不爱

距离上次回帖5年后,这部分的知识有点遗忘了,马上在书签里搜索这篇文章,因为当时看过一直有印象。

我是上面2016年的那个“博主崇拜者”。

0000 0080-0000 07FF 中的 8 是什么意义?

好文章经得住时间考验

引用hoho的发言:

已知"严"的unicode是4E25(100111000100101),根据上表,可以发现4E25处在第三行的范围内(0000 0800-0000 FFFF)这个是啥意思?怎么对应起来的?

我也有同样的疑问!!!!

敢于下沉,去真正扎根于技术的先行者,放于此时也不觉过时

2021年还在受用,感谢!

引用学习大佬的发言:

我也有同样的疑问!!!!

4E25是0000 4E25的缩写,在0000 0800-0000 FFFF这个范围,因为4处于0800至FFFF之间,即4E25中的4是在0-F之间,因为0123 4 56789abcdef

带有BOM的UTF8,存储的是 EF BB BF E4 B8 A5

文章写得有点混乱,字节、位混为一体。什么第一位这种词汇无法清楚表达作者意思。

引用椰汁菠萝的发言:

不知道作者会不会看留言,文中有个示例,不知道是我理解有问题,还是怎么得

Unicode符号范围 | UTF-8编码方式
(十六进制) | (二进制)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

一个字节不是8位吗?那FF是一个字节啊,0001 0000-0010 FFFF这不是8个字节吗?什么情况……,我理解错了吗?


整篇文章字节、位多处混用,作者没搞清楚或者手误写错。

文章整理能力不错,但专业技术还是差了点。

比如Big Endian和Little Endian的表述中, 使用的Little Endian来表述字节顺序。

07年我才5岁~ 大学生来膜拜先驱

引用xiekun的发言:

我有个疑问“ANSI:文件的编码就是两个字节“D1 CF”,这正是“严”的GB2312编码,这也暗示GB2312是采用大头方式存储的”

请阮兄指教,不是说用FE,FF来表示大端和小端吗,为啥说从上面的编码可以看出是采用大头方式的呢

文件编码顺序同GB2312编码表,就是大头。
没有对照编码表时,需要文件自己在开头(BOM)描述,大小头。

Win10里记事本可选编码已经没有Unicode了,改为UTF16-LE/BE、[BOM] UTF8、ANSI。

看了好多评论。我也新学习,可能细节是有错误,但几者的关系,来龙去脉感觉很流畅。
感谢~

引用水中鱼的发言:


UTF-16扩充了Unicode,包括了一些稀有字符,想我们国家的满文,藏文等等,两者基本上等价

在特定时期是等价,但不是一个概念

2022 看到, 写的真好

阮总的文章,总是只有一个字:赞!
说得清楚明白,没一个字浪费。不愧是技术作家

2019年看了一次,感觉很好,存起来了,2023年又看了一次,这次理解更深刻了。之前看不懂的也明白了。
看到作者是2007年写的文章,那真是厉害了。佩服!

非常精彩,博主功德无量。Unicode里越排在后面就越吃亏。

我要发表看法

«-必填

«-必填,不公开

«-我信任你,不会填写广告链接