一篇关于字符编码和postgresql储存的小文

非计算机专业的我,对编码的认识一直很混乱。于是就找了一个时间,特意梳理了这一部分的知识。
首先科普一下各个字符编码。

ASCII码

我们知道,在计算机内部,所有的信息最终都表示为一个二进制的字符串。每一个二进制位(bit)有0和1两种状态,这也是计算机最小的单位,因此八个二进制位就可以组合出256种状态,这被称为一个字节(byte)。也就是说,一个字节一共可以用来表示256种不同的状态,每一个状态对应一个符号,就是256个符号,从0000000到11111111,一个字节由8个位来组成。

上个世纪60年代,美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为ASCII码,一直沿用至今。

ASCII码一共规定了128个字符的编码,比如小写字母a的十进制97(二进制0110 0001 ),大写的字母A的十进制是65(二进制0100 0001)。这128个符号(包括32个不能打印出来的控制符号),只占用了一个字节的后面7位,最前面的1位统一规定为0。

UTF-8

有时候我们从网上下载文件,打开后却出现一堆乱码,这就是因为编码方式的不同导致的。也随着互联网的普及大家也越来越渴望有一种统一的编码方式。所以,UTF-8就出现了。

UTF-8是在互联网上最常用的编码方式,它能容纳世界上所有的符号,每个符号都有一个唯一的编码。

UTF-8最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度。

对于英语字母,UTF-8编码和ASCII码是相同的。对于中文字符来说,中文占到2-4个字节。

关于字节的定义我们知道了,关于计算机对各种字符的储存我们也有一个大概的认识了。

那么数据库的对于字符的存储呢?

postgresql

SQL定义了两种基本的字符类型:character varying(n) 和character(n),这里的n 是一个正整数。两种类型都可以存储最多n个字符的字符串(没有字节)。 试图存储更长的字符串到这些类型的字段里会产生一个错误, 除非超出长度的字符都是空白,这种情况下该字符串将被截断为最大长度。 这个看上去有点怪异的例外是SQL标准要求的。 如果要存储的字符串比声明的长度短,类型为character的数值将会用空白填满; 而类型为character varying的数值将只是存储短些的字符串。

因此数据库存储的不是字节而是字符呢!

这里在延伸一个postgresql查看编码方式的命令

\l就能看到数据库的编码(postgresql默认UTF-8编码):

                                      List of databases
       Name        |  Owner   | Encoding |   Collate   |    Ctype    |   Access privileges   
-------------------+----------+----------+-------------+-------------+-----------------------
 healgoo_ai        | mollyliu | UTF8     | en_US.UTF-8 | en_US.UTF-8 | 
 mollyliu          | mollyliu | UTF8     | en_US.UTF-8 | en_US.UTF-8 | 
 postgres          | postgres | UTF8     | en_US.UTF-8 | en_US.UTF-8 | 
 region_healgoo_ai | mollyliu | UTF8     | en_US.UTF-8 | en_US.UTF-8 | 
 template0         | postgres | UTF8     | en_US.UTF-8 | en_US.UTF-8 | =c/postgres          +
                   |          |          |             |             | postgres=CTc/postgres
 template1         | postgres | UTF8     | en_US.UTF-8 | en_US.UTF-8 | =c/postgres          +
                   |          |          |             |             | postgres=CTc/postgres
 testdb            | mollyliu | UTF8     | en_US.UTF-8 | en_US.UTF-8 | 
(7 rows)

还可以通过show server_encodingshow client_encoding来查看服务器端和客户端的编码情况。

 server_encoding 
-----------------
 UTF8
(1 row)
 client_encoding 
-----------------
 UTF8
(1 row)
另外一个问题是,如果我们真的遇到了,需要把中文当成两个字符,把英文和其他符号当成一个字符的情况,该怎么办呢?
方法一:
function getByteLen (val) {
  var len = 0;
  for (var i = 0; i < val.length; i++) {
    var length = val.charCodeAt(i);
    if (length >= 0 && length <= 128){
      len += 1;
    } else {
      len += 2;
    }
  }
  return len;
}
方法二:
function getByteLen (val) {
  var len = 0;
  for (var i = 0; i < val.length; i++) {
    var a = val.charAt(i);
    if (a.match(/[^\x00-\xff]/ig) != null) {
      len += 2;
    } else {
      len += 1;
    }
  }
  return len;
}

这里用到了charCodeAt ()方法。

charCodeAt ()方法的用法:

语法: str.charCodeAt(index)

参数: index是一个大于等于 0,小于字符串长度的整数。如果不是一个数值,则默认为 0。

返回值: 返回值是一表示给定索引处字符的 UTF-16 代码单元值的数字;如果索引超出范围,则返回NAN

示例:

'Z'.charCodeAt(0)
// 90
'Z'.charCodeAt(1)
// NaN
'数说'.charCodeAt(1);
// 35828
'数说'.charCodeAt(0);
// 25968
'数'.charCodeAt(0);
// 25968

Unicode 编码单元(code points)的范围从 0 到 1,114,111(0x10FFFF)。开头的 128 个 Unicode 编码单元和 ASCII 字符编码一样。从上文,我们知道ASCII码一共规定了128个字符的编码,包括英文字符和字符。

所以当length >= 0 && length <= 128的时候,就意味着字符是ASCII规定的字符。

    原文作者:Molly6943
    原文地址: https://www.jianshu.com/p/8057ae141278
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞