非计算机专业的我,对编码的认识一直很混乱。于是就找了一个时间,特意梳理了这一部分的知识。
首先科普一下各个字符编码。
ASCII码
我们知道,在计算机内部,所有的信息最终都表示为一个二进制的字符串。每一个二进制位(bit)有0和1两种状态,这也是计算机最小的单位,因此八个二进制位就可以组合出256种状态,这被称为一个字节(byte)。也就是说,一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从0000000到11111111,一个字节由8个位来组成。
上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为ASCII码,一直沿用至今。
ASCII码一共规定了128个字符的编码,比如小写字母a的十进制97(二进制0110 0001 ),大写的字母A的十进制是65(二进制0100 0001)。这128个符号(包括32个不能打印出来的控制符号),只占用了一个字节的后面7位,最前面的1位统一规定为0。
UTF-8
有时候我们从网上下载文件,打开后却出现一堆乱码,这就是因为编码方式的不同导致的。也随着互联网的普及大家也越来越渴望有一种统一的编码方式。所以,UTF-8就出现了。
UTF-8是在互联网上最常用的编码方式,它能容纳世界上所有的符号,每个符号都有一个唯一的编码。
UTF-8最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。
对于英语字母,UTF-8编码和ASCII码是相同的。对于中文字符来说,中文占到2-4个字节。
关于字节的定义我们知道了,关于计算机对各种字符的储存我们也有一个大概的认识了。
那么数据库的对于字符的存储呢?
postgresql
SQL定义了两种基本的字符类型:character varying(n) 和character(n),这里的n 是一个正整数。两种类型都可以存储最多n个字符的字符串(没有字节)。 试图存储更长的字符串到这些类型的字段里会产生一个错误, 除非超出长度的字符都是空白,这种情况下该字符串将被截断为最大长度。 这个看上去有点怪异的例外是SQL标准要求的。 如果要存储的字符串比声明的长度短,类型为character的数值将会用空白填满; 而类型为character varying的数值将只是存储短些的字符串。
因此数据库存储的不是字节而是字符呢!
这里在延伸一个postgresql查看编码方式的命令
用\l
就能看到数据库的编码(postgresql默认UTF-8编码):
List of databases
Name | Owner | Encoding | Collate | Ctype | Access privileges
-------------------+----------+----------+-------------+-------------+-----------------------
healgoo_ai | mollyliu | UTF8 | en_US.UTF-8 | en_US.UTF-8 |
mollyliu | mollyliu | UTF8 | en_US.UTF-8 | en_US.UTF-8 |
postgres | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 |
region_healgoo_ai | mollyliu | UTF8 | en_US.UTF-8 | en_US.UTF-8 |
template0 | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/postgres +
| | | | | postgres=CTc/postgres
template1 | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | =c/postgres +
| | | | | postgres=CTc/postgres
testdb | mollyliu | UTF8 | en_US.UTF-8 | en_US.UTF-8 |
(7 rows)
还可以通过show server_encoding
和show client_encoding
来查看服务器端和客户端的编码情况。
server_encoding
-----------------
UTF8
(1 row)
client_encoding
-----------------
UTF8
(1 row)
另外一个问题是,如果我们真的遇到了,需要把中文当成两个字符,把英文和其他符号当成一个字符的情况,该怎么办呢?
方法一:
function getByteLen (val) {
var len = 0;
for (var i = 0; i < val.length; i++) {
var length = val.charCodeAt(i);
if (length >= 0 && length <= 128){
len += 1;
} else {
len += 2;
}
}
return len;
}
方法二:
function getByteLen (val) {
var len = 0;
for (var i = 0; i < val.length; i++) {
var a = val.charAt(i);
if (a.match(/[^\x00-\xff]/ig) != null) {
len += 2;
} else {
len += 1;
}
}
return len;
}
这里用到了charCodeAt ()
方法。
charCodeAt ()
方法的用法:
语法: str.charCodeAt(index)
参数: index是一个大于等于 0,小于字符串长度的整数。如果不是一个数值,则默认为 0。
返回值: 返回值是一表示给定索引处字符的 UTF-16 代码单元值的数字;如果索引超出范围,则返回NAN
示例:
'Z'.charCodeAt(0)
// 90
'Z'.charCodeAt(1)
// NaN
'数说'.charCodeAt(1);
// 35828
'数说'.charCodeAt(0);
// 25968
'数'.charCodeAt(0);
// 25968
Unicode 编码单元(code points)的范围从 0 到 1,114,111(0x10FFFF)。开头的 128 个 Unicode 编码单元和 ASCII 字符编码一样。从上文,我们知道ASCII码一共规定了128个字符的编码,包括英文字符和字符。
所以当length >= 0 && length <= 128
的时候,就意味着字符是ASCII规定的字符。