简介
mongodb提供了mongoexport/mongoimport以支持将数据表进行导入导出。
导入导出命令一般用于特殊的数据处理用途，由于不包含索引处理，且json格式无法支持所有bson类型，因此不适合用于重要数据的备份恢复。
参考文档
https://docs.mongodb.com/manual/reference/program/mongoimport/
https://docs.mongodb.com/manual/reference/program/mongoexport/
mongoexport用法
说明
mongoexport 支持将mongodb数据表导出为json或csv格式，可在导出时指定一定的查询条件实现过滤。
命令的执行要求当前用户对数据库有read权限；
在mongos或副本集上执行时，默认采用primary readperference选项，即优先从主库上读取。
示例用法
./mongoexport --host 127.0.0.1 --port 27017 -d appdb -c T_TEST_DATA -u appuser -p appuser@2016 -o export/T_TEST_DATA.json参数说明
| 参数名 | 参数值 |
|---|---|
| host[h] | 主机 |
| port | 端口 |
| db[d] | 目标数据库 |
| username[u] | 用户名 |
| password[p] | 密码 |
| authenticationDatabase | 鉴权数据库，不指定则使用database参数 |
| collection[c] | 目标Collection |
| query[q] | 查询过滤条件，不指定则导出全表 |
| out[o] | 目标输出文件 |
| type | 格式类型，默认json |
| skip | skip条件 |
| limit | limit条件 |
| sort | sort条件 |
其他用法
//按分页导出
mongoexport -d test -c records --sort '{a: 1}' --limit 100 --skip 100 --out export.1.json
//按查询条件导出
mongoexport -d test -c records -q '{ a: { $gte: 3 } }' --out exportdir/myRecords.json
mongoimport用法
说明
mongoimport 支持将json或csv格式的数据文件导入到mongodb数据库，该命令与mongoexport结合使用。
命令的执行要求当前用户对数据库有readWrite权限；
导入命令要求在mongos或副本集主节点上执行。
示例用法
./bin/mongoimport --host 127.0.0.1 --port 27017 -d appdb -c T_TEST_DATA_1 -u appuser -p appuser@2016 --numInsertionWorkers 50 --file export/T_TEST_DATA.json参数说明
| 参数名 | 参数值 |
|---|---|
| host[h] | 主机 |
| port | 端口 |
| db[d] | 目标数据库 |
| username[u] | 用户名 |
| password[p] | 密码 |
| authenticationDatabase | 鉴权数据库，不指定则使用database参数 |
| collection[c] | 目标Collection，不指定则采用文件名称 |
| drop | 指定该选项，则导入前删除表 |
| file | 目标导入文件 |
| type | 格式类型，默认json |
| mode | 导入模式，有insert、upsert、merge，默认insert |
| numInsertionWorkers | 并发数 |
导入模式
upsert模式，会将已有数据替换；
merge模式，会将已有数据进行合并；
执行效率
使用insert的性能最高，建议使用；
在多核的环境中，通过numInsertionWorkers可指定并发运行，可提升一定效率。
参考数据
使用mongoexport 导出860W的数据记录，文件大小2.9G，共耗时10分钟
使用mongoimport 导入860W的数据记录，使用–mode=insert模式，用时3分钟15秒(numInsertionWorkers=50)
使用mongoimport 导入860W的数据记录，使用–mode=insert模式，用时5分钟(numInsertionWorkers=1)
使用mongoimport 导入860W的数据记录，使用–mode=upsert模式，用时45分钟(numInsertionWorkers=1)
使用mongodump 导出为40s，而mongorestore为4分钟。
