iOS 数据库升级数据迁移解决方案

2023年10月16日 124次阅读 来源: 移动开发

背景

很久以前就遇到过数据库版本升级的引用场景，当时的做法是简单的删除旧的数据库文件，重建数据库和表结构，这种暴力升级的方式会导致旧的数据的丢失，考虑到数据升级和数据迁移这个问题以后还会遇到，这算是一个常用的场景吧，所以发点时间把这部分做了一个简单重构，实现了一个简单的方案。

结果

一番努力之后，终于有了结果
项目的开源地址：YTBaseDBManager
使用 Pod 导入，因为是开发库，所以需要指定 :path 参数

pod 'YTBaseDBManager', :path => '../'

客户端使用的DEMO代码如下

  1. 客户端使用方法 [self setDBFilePath:DBPath newDBVersion:DB_Version]; 设置数据库路径
  2. 客户端重写模板方法 initTables 执行创建表的逻辑
  3. 底层库会自动分析新表和旧表，自动进行数据迁移的操作
/** 数据库保存的缓存目录 */
static NSString* kDBCache = @"DBCache";
/** 数据库文件名称 */
static NSString* DB_NAME = @"YTDB.sqlite";
/** 当前使用的数据库版本，程序会根据版本号的改变升级数据库以及迁移旧的数据 */
static NSString* DB_Version = @"1.0.0";

@implementation YTBusinessDBManager

- (instancetype)init {
    self = [super init];
    if (self) {
        // 创建数据库文件
        NSString* cachePath = [NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) objectAtIndex:0];
        NSString *DBDir = [cachePath stringByAppendingPathComponent:kDBCache];
        BOOL isDir = NO;
        if (!([[NSFileManager defaultManager] fileExistsAtPath:DBDir isDirectory:&isDir] && isDir)) {
            [[NSFileManager defaultManager] createDirectoryAtPath:DBDir withIntermediateDirectories :YES attributes :nil error :nil];
        }
        NSString* DBPath = [DBDir stringByAppendingPathComponent:DB_NAME];
        
        // 设置数据库路径，包含了数据库升级的逻辑
        [self setDBFilePath:DBPath newDBVersion:DB_Version];
    }
    return self;
}

// 初始化数据表
- (void)initTables {
    [VideoUploadModel createTableIfNotExists];
}

问题分析

理想的情况是：数据库升级，表结构、主键和约束有变化，新的表结构建立之后会自动的从旧的表检索数据，相同的字段进行映射迁移数据，而绝大多数的业务场景下的数据库版本升级是只涉及到字段的增减、修改主键约束，所以下面要实现的方案也是从最基本的、最常用的业务场景去做一个实现，至于更加复杂的场景，可以在此基础上进行扩展，达到符合自己的预期的。

网上搜索了下，并没有数据库升级数据迁移简单完整的解决方案，找到了一些思路

  1. 清除旧的数据，重建表
    优点：简单
    缺点：数据丢失
  2. 在已有表的基础上对表结构进行修改
    优点：能够保留数据
    缺点：规则比较繁琐，要建立一个数据库的字段配置文件，然后读取配置文件，执行SQL修改表结构、约束和主键等等，涉及到跨多个版本的数据库升级就变得繁琐并且麻烦了
  3. 创建临时表，把旧的数据拷贝到临时表，然后删除旧的数据表并且把临时表设置为数据表。
    优点：能够保留数据，支持表结构的修改，约束、主键的变更，实现起来比较简单
    缺点：实现的步骤比较多

综合考虑，第三种方法是一个比较靠谱的方案。

方案的主要步骤

根据这个思路，分析了一下数据库升级了主要步骤大概如下：

  • 获取数据库中旧的表
  • 修改表名,添加后缀“_bak”，把旧的表当做备份表
  • 创建新的表
  • 获取新创建的表
  • 遍历旧的表和新表，对比取出需要迁移的表的字段
  • 数据迁移处理
  • 删除备份表

使用到的SQL语句分析

这些操作都是和数据库操作有关系的，所以问题的关键是对应步骤的SQL语句了，下面分析下用到的主要的SQL语句：

  • 获取数据库中旧的表
SELECT * from sqlite_master WHERE type='table'

结果如下，可以看到有type | name | tbl_name | rootpage | sql 这些数据库字段，我们只要用到name也就是数据库名称这个字段就行了

sqlite> SELECT * from sqlite_master WHERE type='table'
   ...> ;
+-------+---------------+---------------+----------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| type  | name          | tbl_name      | rootpage | sql                                                                                                                                                                                                                   |
+-------+---------------+---------------+----------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| table | t_message_bak | t_message_bak | 2        | CREATE TABLE "t_message_bak" (messageID TEXT, messageType INTEGER, messageJsonContent TEXT, retriveTimeString INTEGER, postTimeString INTEGER, readState INTEGER, PRIMARY KEY(messageID))                             |
| table | t_message     | t_message     | 4        | CREATE TABLE t_message (
	messageID TEXT, 
	messageType INTEGER,
	messageJsonContent TEXT, 
	retriveTimeString INTEGER, 
	postTimeString INTEGER, 
	readState INTEGER, 
	addColumn INTEGER,
	PRIMARY KEY(messageID)
) |
+-------+---------------+---------------+----------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
2 行于数据集 (0.03 秒)
  • 修改表名,添加后缀“_bak”，把旧的表当做备份表
-- 把t_message表修改为t_message_bak表  
ALTER TABLE t_message RENAME TO t_message_bak
  • 获取表字段信息
-- 获取t_message_bak表的字段信息
PRAGMA table_info('t_message_bak')

获取到的表字段信息如下，可以看到有| cid | name | type | notnull | dflt_value | pk | 这些数据库字段，我们只要用到name也就是字段名称这个字段就行了

sqlite> PRAGMA table_info('t_message_bak');
+------+--------------------+---------+---------+------------+------+
| cid  | name               | type    | notnull | dflt_value | pk   |
+------+--------------------+---------+---------+------------+------+
| 0    | messageID          | TEXT    | 0       | NULL       | 1    |
| 1    | messageType        | INTEGER | 0       | NULL       | 0    |
| 2    | messageJsonContent | TEXT    | 0       | NULL       | 0    |
| 3    | retriveTimeString  | INTEGER | 0       | NULL       | 0    |
| 4    | postTimeString     | INTEGER | 0       | NULL       | 0    |
| 5    | readState          | INTEGER | 0       | NULL       | 0    |
+------+--------------------+---------+---------+------------+------+
6 行于数据集 (0.01 秒)
  • 使用子查询进行数据迁移处理
INSERT INTO t_message(messageID, messageType, messageJsonContent, retriveTimeString, postTimeString, readState) SELECT messageID, messageType, messageJsonContent, retriveTimeString, postTimeString, readState FROM t_message_bak

把t_message_bak表中的messageID, messageType, messageJsonContent, retriveTimeString, postTimeString, readState这些字段的值复制到t_message表中

代码实现

有了以上的分析，接下来的代码的实现就很简单了

主要方法

// 数据库版本控制主要方法
- (void)versionControlWithNewDBVersion:(NSString*)newDBVersion {
    if (nil == _DBFilePath) {
        return;
    }
    
    // 获取新旧版本
    NSString * version_old = YTBaseDBManager_ValueOrEmpty([self DBVersion]);
    NSString * version_new = [NSString stringWithFormat:@"%@", newDBVersion];
    NSLog(@"dbVersionControl before: %@ after: %@",version_old,version_new);
    
    // 数据库版本升级
    if (version_old != nil && ![version_new isEqualToString:version_old]) {
        
        // 获取数据库中旧的表
        NSArray* existsTables = [self sqliteExistsTables];
        NSMutableArray* tmpExistsTables = [NSMutableArray array];
        
        // 修改表名,添加后缀“_bak”，把旧的表当做备份表
        for (NSString* tablename in existsTables) {
            [tmpExistsTables addObject:[NSString stringWithFormat:@"%@_bak", tablename]];
            [self.databaseQueue inDatabase:^(FMDatabase *db) {
                NSString* sql = [NSString stringWithFormat:@"ALTER TABLE %@ RENAME TO %@_bak", tablename, tablename];
                [db executeUpdate:sql];
            }];
        }
        existsTables = tmpExistsTables;
        
        // 创建新的表
        [self initTables];
        
        // 获取新创建的表
        NSArray* newAddedTables = [self sqliteNewAddedTables];
        
        // 遍历旧的表和新表，对比取出需要迁移的表的字段
        NSDictionary* migrationInfos = [self generateMigrationInfosWithOldTables:existsTables newTables:newAddedTables];
        
        // 数据迁移处理
        [migrationInfos enumerateKeysAndObjectsUsingBlock:^(NSString* newTableName, NSArray* publicColumns, BOOL * _Nonnull stop) {
            NSMutableString* colunmsString = [NSMutableString new];
            for (int i = 0; i<publicColumns.count; i++) {
                [colunmsString appendString:publicColumns[i]];
                if (i != publicColumns.count-1) {
                    [colunmsString appendString:@", "];
                }
            }
            NSMutableString* sql = [NSMutableString new];
            [sql appendString:@"INSERT INTO "];
            [sql appendString:newTableName];
            [sql appendString:@"("];
            [sql appendString:colunmsString];
            [sql appendString:@")"];
            [sql appendString:@" SELECT "];
            [sql appendString:colunmsString];
            [sql appendString:@" FROM "];
            [sql appendFormat:@"%@_bak", newTableName];
            
            [self.databaseQueue inDatabase:^(FMDatabase *db) {
                [db executeUpdate:sql];
            }];
        }];
        
        // 删除备份表
        [self.databaseQueue inDatabase:^(FMDatabase *db) {
            [db beginTransaction];
            for (NSString* oldTableName in existsTables) {
                NSString* sql = [NSString stringWithFormat:@"DROP TABLE IF EXISTS %@", oldTableName];
                [db executeUpdate:sql];
            }
            [db commit];
        }];
        
        [self setDBVersion:version_new];
        
    } else {
        [self setDBVersion:version_new];
    }
}

提取数据迁移的列

// 遍历旧的表和新表，对比取出需要迁移的表的字段
- (NSDictionary*)generateMigrationInfosWithOldTables:(NSArray*)oldTables newTables:(NSArray*)newTables {
    NSMutableDictionary<NSString*, NSArray* >* migrationInfos = [NSMutableDictionary dictionary];
    for (NSString* newTableName in newTables) {
        NSString* oldTableName = [NSString stringWithFormat:@"%@_bak", newTableName];
        if ([oldTables containsObject:oldTableName]) {
            // 获取表数据库字段信息
            NSArray* oldTableColumns = [self sqliteTableColumnsWithTableName:oldTableName];
            NSArray* newTableColumns = [self sqliteTableColumnsWithTableName:newTableName];
            NSArray* publicColumns = [self publicColumnsWithOldTableColumns:oldTableColumns newTableColumns:newTableColumns];
            
            if (publicColumns.count > 0) {
                [migrationInfos setObject:publicColumns forKey:newTableName];
            }
        }
    }
    return migrationInfos;
}

// 提取新表和旧表的共同表字段，表字段相同列的才需要进行数据迁移处理
- (NSArray*)publicColumnsWithOldTableColumns:(NSArray*)oldTableColumns newTableColumns:(NSArray*)newTableColumns {
    NSMutableArray* publicColumns = [NSMutableArray array];
    for (NSString* oldTableColumn in oldTableColumns) {
        if ([newTableColumns containsObject:oldTableColumn]) {
            [publicColumns addObject:oldTableColumn];
        }
    }
    return publicColumns;
}

获取数据库表的所有列

// 获取数据库表的所有的表字段名
- (NSArray*)sqliteTableColumnsWithTableName:(NSString*)tableName {
    __block NSMutableArray<NSString*>* tableColumes = [NSMutableArray array];
    [self.databaseQueue inDatabase:^(FMDatabase *db) {
        NSString* sql = [NSString stringWithFormat:@"PRAGMA table_info('%@')", tableName];
        FMResultSet *rs = [db executeQuery:sql];
        while ([rs next]) {
            NSString* columnName = [rs stringForColumn:@"name"];
            [tableColumes addObject:columnName];
        }
    }];
    return tableColumes;
}

获取数据库中的表

// 获取数据库中旧的表
- (NSArray*)sqliteExistsTables {
    __block NSMutableArray<NSString*>* existsTables = [NSMutableArray array];
    [self.databaseQueue inDatabase:^(FMDatabase *db) {
        NSString* sql = @"SELECT * from sqlite_master WHERE type='table'";
        FMResultSet *rs = [db executeQuery:sql];
        while ([rs next]) {
            NSString* tablename = [rs stringForColumn:@"name"];
            [existsTables addObject:tablename];
        }
    }];
    return existsTables;
}

// 获取新创建的表
- (NSArray*)sqliteNewAddedTables {
    __block NSMutableArray<NSString*>* newAddedTables = [NSMutableArray array];
    [self.databaseQueue inDatabase:^(FMDatabase *db) {
        NSString* sql = @"SELECT * from sqlite_master WHERE type='table' AND name NOT LIKE '%_bak'";
        FMResultSet *rs = [db executeQuery:sql];
        while ([rs next]) {
            NSString* tablename = [rs stringForColumn:@"name"];
            [newAddedTables addObject:tablename];
        }
    }];
    return newAddedTables;
}

方案通用化

上面是数据库升级数据迁移解决方案的核心内容，在此基础上添加点东西就可以让这个方案可以通用了。
对于客户端来说，客户端关心的问题有以下：

  • 数据库文件的路径设置
  • 触发数据库升级逻辑
  • 数据表的创建

这些内容在不同的业务场景中都是不可缺少的必要部分，所以对可以对共同的部分做作一个封装。

注入

对于数据库文件的路径设置和触发数据库升级逻辑，底层库只关心对应的参数，客户端传递参数给底层库，底层库会进行处理，这也就是注入的部分，可以采用构造注入或者设置注入的方式来解耦这部分。设置注入灵活性更好一些，所以采用设置注入的方式，实现起来很简单，就是添加一个设置数据库路径和数据库新版本的方法就行了。

设置数据库文件路径和版本号的方法，该方法除了设置数据库文件路径，还进行了数据库升级逻辑的操作，这部分对客户端是隐藏的。

// ！！！设置数据库文件路径和版本号
- (void)setDBFilePath:(NSString *)DBFilePath newDBVersion:(NSString*)newDBVersion {
    // 设置数据库文件路径
    _DBFilePath = DBFilePath;
    [[NSFileManager defaultManager] setAttributes:[NSDictionary dictionaryWithObject:NSFileProtectionNone forKey:NSFileProtectionKey] ofItemAtPath:_DBFilePath error:NULL];
    
    // 数据库版本控制
    // 当前的方法如果是放在初始化方法中
    // versionControlWithNewDBVersion 方法调用 initTables 方法 会使用到当前单例对象
    // 因为初始化未完成，所以会造成死锁的问题，versionControlWithNewDBVersion 方法调用采用延迟的策略
    dispatch_after(dispatch_time(DISPATCH_TIME_NOW, (int64_t)(1 * NSEC_PER_SEC)), dispatch_get_main_queue(), ^{
        [self versionControlWithNewDBVersion:newDBVersion];
    });
}

模板方法

对于数据表的创建，底层库不关心具体的表创建逻辑，而只需要用到创建之后的表的名称和表的字段名称这些数据，也就是创建表的结果，可以可以把这些内容延迟放置到子类中处理，所以这里用到了模板方法模式。

#pragma mark - ......::::::: 模板方法，子类重写 :::::::......

// 初始化数据表
- (void)initTables;

子类重写该方法执行表创建的逻辑

// 初始化数据表
- (void)initTables {
    // 创建视频上传记录表
    [VideoUploadModel createTableIfNotExists];
}

单例

数据库操作是资源密集型的操作，创建多个对象会导致资源消耗严重，此外多个对象操作同一个数据库文件也会引入数据不一致等问题，所以这里使用单例模式。
OC中标准的单例是不支持继承的，这里使用标准的方式，所以还是把单例放在子类中进行创建。
多说一句，OC可以使用Runtime的方式达到单例可继承的目的，但是出于简单和谨慎考虑没有这么做。

.h
// 子类的单例
+ (instancetype)sharedInstance;

.m
// 子类的单例
+ (instancetype)sharedInstance{
    static id instance;
    static dispatch_once_t onceToken;
    dispatch_once(&onceToken, ^{
        instance = [[self alloc] init];
    });
    return instance;
}

One More Thing

项目的开源地址： YTBaseDBManager

TODO

项目依赖于FMDB，库的公有属性暴露给客户端的是一个FMDatabaseQueue类的对象，所以这里存在耦合，暂时没有想到好的办法解除这个耦合。

    原文作者：移动开发
    原文地址: https://my.oschina.net/FEEDFACF/blog/901765
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞