从SQL Server到MySql(3): schema的数据类型优化

1,数据库范式

1.1 第一到第三范式

  • 第一范式 1NF. 保证列的原子性, 一列不能再被分为多个列.
  • 第二范式 2NF. 每行必须可以被唯一地区分. 通常通过加(id)列来实现.
    • 没有包含在主键中的列必须完全依赖于主键, 而不能只依赖于主键的一部分
    • 若有以上情况, 则需要进行表拆分.
  • 第三范式 3NF. 非主键列必须直接依赖于主键, 不能存在递归依赖.
    • 2NF 可以有递归依赖.

1.2 遵从范式设计的优劣

  • 范式可以避免数据冗余,减少数据库空间,减轻维护数据完整性的麻烦.
  • 范式化的更新操作比反范式更快.
  • 范式的问题是范式的等级越高, 设计出来的表越多, 从而造成操作性能越来越低.
    • 例如, 通常需要关联.

1.3 反范式

  • 反范式允许适当的冗余.
    • 用空间换时间. 把数据冗余在多个表中.
    • 减少查询时的表关联.
    • 单独的表也能使用更有效的索引策略.

2 缓存表和汇总表

2.1 保存冗余数据

  • 提升性能最好的办法是在同一张表中保存衍生的冗余数据.
  • 也可以创建完全独立的缓存和汇总表.
  • 可选择使用实时维护或定期重建, 这依赖于具体的应用程序.
    • 定期重建会节省资源, 保持表不会有太多碎片, 以及完全顺序组织的(高效)索引.
    • 重建时, 使用”影子表(重命名)”来保证数据在重建过程中的可用性.
mysql> drop table if exists sample_new, sample_old;
mysql> create table sample_new like sample;
-- 对sample_new表进行需要的修改.
mysql> rename table sample to sample_old, sample_new to sample.

2.2 物化视图

  • 物化视图�是预先计算并存储在磁盘上的表, 可通过各种策略刷新和更新.
  • 通过提取对源表的更改, 增量地重新计算物化视图的内容. 而不需要通过查询原始数据来更新视图.
  • 优势: 计算增量比从源读取效率高.

2.3 计数器表

  • 要想获得更高的并发更新性能. 可以将计数器保存在多行中.
    • 预先在表中增加N(如100) 行数据.
    • 每次随机选择一行进行更新.
      set cnt = cnt+1 where slot = RAND() *100.
    • 获取结果时进行SUM(cnt).
  • 若要每隔一段时间(天)开始一个新的计数器.
    • primary key(day,slot).
    • 不用预先生成行, 使用 Insert .. ON Duplicate Key Update cnt = cnt +1.
    • 避免表过大
      • 执行一个周期性的任务, 合并结果到0 slot, 同时删除其它的slot.
    • 所有高性能设计的初衷: 更快地读, 更慢地写.

2.4 加快Alter Table操作的速度

  • Alter Table
    • 过程:
      • 从新的结构创建一个空表.
      • 将旧表所有数据插入新表.
      • 删除旧表.
    • 问题:
      • 耗时, 尤其是当内存不足而表又过大时.
      • 大部分Alter Table操作将导致MySql服务中断.
  • 优化Alter Table的方式
    • 方式1: 在一台不提供服务的机器上执行alter table.然后和提供服务的机器进行切换.
    • 方式2: 影子拷贝. 创建与原本无关的新表, 通过重命名和删除表来交换两种表.
    • 方式3: 为想要的新结构创建新的.frm文件,然后用它替换掉已有的.
  • 修改/删除列的默认值.
    • 使用modify column 命令会重建表,
    • 而alter column 只是修改了.frm文件.
  • 并不是所有的alter table都会引起表重建, 不需要重建表的操作有:
    • 移除列的Auto_Increment属性.
    • 增加/移除/更改Enum和Set常量.
  • 快速创建MyISAM 索引.
    • 为了高效地载入数据到MyISAM表中,可以使用以下方式.
      • 先禁用索引(Disable Keys), 载入数据, 然后重新启用索引(Enable Keys).
      • 在数据加载完毕后, 可通过排序构建索引.
      • 这种方式对唯一索引无效. 这会导致在内存中构造唯一索引, 并为载入的每一行检查唯一性.
    原文作者:沪上最强亚巴顿
    原文地址: https://www.jianshu.com/p/73d138465831
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞