字符集和字符编码

字符集和字符编码 —— 每个软件开发人员应该无条件掌握的知识！

字符

字符可能是指：

• 字母表（alphabet），在形式语言理论中，一个基本集合成员的有限序列。
• 字符（character），大致对应于形素的资讯单位
• 字形（glyph），指一可识别的抽象图形符号

在计算机科学中，字母表是字符或数字的有限集合。

在电脑和电信领域中，字符（Character）是一个信息单位。对使用字母系统或音节文字等自然语言，它大约对应为一个音位、类音位的单位或符号。简单来讲就是一个汉字、假名、韩文字……，或是一个英文、其他西方语言的字母。

字形又称字符、字图、书形，是指字的形体。

字符集

字符集（Charset）：是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。

Unicode

Unicode，联盟官方中文名称为统一码，是计算机科学领域的业界标准。它整理、编码了世界上大部分的文字系统，使得电脑可以用更为简单的方式来呈现和处理文字。

字符编码

字符编码(Character encoding) 是把字符集中的字符编码为指定集合中某一对象（例如：比特模式、自然数序列、8位组或者电脉冲），以便文本在计算机中存储和通过通信网络的传递。常见的例子包括将拉丁字母表编码成摩斯电码和ASCII。其中，ASCII将字母、数字和其它符号编号，并用7比特的二进制来表示这个整数。通常会额外使用一个扩充的比特，以便于以1个字节的方式存储。

ASCII

ASCII（发音： /ˈæski/ ASS-kee，American Standard Code for Information Interchange，美国信息交换标准代码）是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语，而其扩展版本延伸美国标准信息交换码则可以部分支持其他西欧语言，并等同于国际标准ISO/IEC 646。

UTF-8

UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用一至四个字节对Unicode字符集中的所有有效编码点进行编码，属于Unicode标准的一部分，最初由肯·汤普逊和罗布·派克提出。由于较小值的编码点一般使用频率较高，直接使用Unicode编码效率低下，大量浪费内存空间。UTF-8就是为了解决向后兼容ASCII码而设计，Unicode中前128个字符，使用与ASCII码相同的二进制值的单个字节进行编码，而且字面与ASCII码的字面一一对应，这使得原来处理ASCII字符的软件无须或只须做少部分修改，即可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或发送文字优先采用的编码方式。

UTF-8编码规则

utf8 最大的一个特点，就是它是一种可变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

utf8 的编码规则很简单，只有二条：

• 对于单字节的符号，字节的第一位设为0，后面7位为这个符号的 Unicode 码。因此对于英语字母，utf8 编码和 ASCII 码是相同的。
• 对于n字节的符号（n > 1），第一个字节的前n位都设为1，第n + 1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。

下表总结了编码规则，字母x表示可用编码的位。

严 字的 Unicode 编码是 4E25 处于 0000 0800 ~ 0000 FFFF 这个范围里面，所以需要三个字节表示。4E25 转二进制 100 111000 100101

HTTP 相关消息头

在HTTP中，与字符集和字符编码相关的消息头

• Accept-Charset：浏览器申明自己接收的字符集，这就是本文前面介绍的各种字符集和字符编码，如gb2312，utf-8（通常我们说Charset包括了相应的字符编码方案）；

• Accept-Encoding：浏览器申明自己接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压缩方法（gzip，deflate），（注意：这不是只字符编码）；

• Accept-Language：浏览器申明自己接收的语言。语言跟字符集的区别：中文是语言，中文有多种字符集，比如big5，gb2312，gbk等等；

• Content-Type：WEB服务器告诉浏览器自己响应的对象的类型和字符集。例如：Content-Type: text/html; charset=‘gb2312’

• Content-Encoding：WEB服务器表明自己使用了什么压缩方法（gzip，deflate）压缩响应中的对象。例如：Content-Encoding：gzip

• Content-Language：WEB服务器告诉浏览器自己响应的对象的语言。

MySQL utf8mb4

utf8mb4 只是 MySQL 特有的概念，原因是在 MySQL 5.5.3 之前，Unicode收录的字符还不是很多，（最大）3个字节足够存储，所以那时的mysql把utf8（alias of “utf8mb3”）存储也设计为3字节存储。后来Unicode收录的字符更多了，扩张到4字节了（比如表情😁）。

MySQL 在之后的版本增加 utf8mb4 编码，mb4 就是most bytes 4的意思，专门用来兼容四字节的 Unicode。