mysql 编码和汉字存储占用字节问题的探索

2019年10月1日 173次阅读 来源: piperck

MySql 5.5 之前，UTF8 编码只支持1-3个字节，只支持BMP这部分的unicode编码区，BMP是从哪到哪？
戳这里 基本就是 0000 ~ FFFF 这一区。

从MySQL 5.5 开始，可支持4个字节UTF编码utf8mb4，一个字符最多能有4字节，所以能支持更多的字符集。

utf8mb4 is a superset of utf8

tf8mb4兼容utf8，且比utf8能表示更多的字符。

至于什么时候用，看你做的什么项目了。。。
在做移动应用时，会遇到IOS用户在文本的区域输入emoji表情，如果不做一定处理，就会导致插入数据库异常。

MySql 5.0 以上的版本：

1、一个汉字占多少长度与编码有关：

UTF-8：一个汉字 = 3个字节，英文是一个字节
GBK： 一个汉字 = 2个字节，英文是一个字节
2、varchar(n) 表示n个字符，无论汉字和英文，MySql都能存入 n 个字符，仅实际字节长度有所区别。

3、MySQL检查长度，可用SQL语言 SELECT LENGTH(fieldname) FROM tablename 这个命令可以看到各行使用的字节数。

mysql版本5.6.32-78.0下面用实际例子来说明问题：

  1. 首先创建一张临时用表：

     create TEMPORARY table medivac(
          name VARCHAR(10)
     ); CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

  1. 插入一些数据：

    INSERT INTO medivac (name) VALUES ('' at line 1
mysql> INSERT INTO medivac (name) VALUES ('a');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO medivac (name) VALUES ('哈');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO medivac (name) VALUES ('\U+1F604');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO medivac (name) VALUES ('哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈');
Query OK, 1 row affected, 1 warning (0.00 sec)

  2. 查看表中数据：

    mysql> select * from medivac
    -> ;
+--------------------------------+
| name                           |
+--------------------------------+
| a                              |
| 哈                             |
| ?                               |
| 哈哈哈哈哈哈哈哈哈哈           |
+--------------------------------+

  3. 查看占用字节数：

    +--------------+
| length(name) |
+--------------+
|            1 |
|            3 |
|            4 |
|           30 |
+--------------+

没什么好说的 一目了然，注意，如果存储超过字段规定的最大字符数，后面存储的东西会被无视，并且曝出一个warning。详见过程2的信息。

总结：

  1. 一个varchar存汉字需要使用三个字段在utf8和utf8mb4编码表的情况下。

  2. 如果需要存储emoji表情的需求，新表的默认编码方式应该写为utf8mb4。另外提一点在最新发布的mysql8.0里面，默认编码方式已经是utf8mb4了。

  3. 在utf8和utf8mb4中 varchar(n)这个n是字符，所见即所得，一个a是一个字符一个?也是一个字符 不过就是a这个字符是1个字节 哈这个字符是3个字节 而?这个字符是4个字节表示罢了

Reference:

https://www.tutorialspoint.co… MySQL Temporary Tables

https://ruby-china.org/topics… MySQL 数据库 varchar 到底可以存多少个汉字，多少个英文呢?我们来搞搞清楚

    原文作者：piperck
    原文地址: https://segmentfault.com/a/1190000006975484
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞