mongodb数据库导入导出

1. 单表数据的导出

针对单表数据的导出操作,MongoDB 提供了 mongoexport 命令。mongoexport 既可以将数据导出为 CSV 格式的文件,也可以导出 JSON 格式的文件。这两者之间的区别是:

  • JSON 是 mongoexport 默认的导出格式,不需要指定,而要导出 CSV 格式的话需要明确指定;
  • 导出 CSV 格式必须显式指定各属性名,而导出 JSON 格式不需要。

由此可见导出 JSON 格式更灵活、更方便,而且对于复杂的表结构还不会有属性丢失的风险,因此笔者比较倾向于这种导出格式。本文示例用的就是这种格式。
trans.sp 表结构如下:

    "_id" : ObjectId("56ea7cc7ec8d83257c013844"), 
    "orderNum" : "804918166317174541239", 
    "sysOrderNum" : "43fd399715df4e874c773373c422a896", 
    "respCode" : "09", 
    "merId" : "991653448160401", 
    "transAmt" : NumberLong(300), 
    "transStatus" : "10", 
    "transType" : NumberInt(1), 
    "chanMerId" : "1244891002", 
    "chanCode" : "WXP", 
    "createTime" : "2016-03-17 17:45:43", 
    "updateTime" : "2016-03-17 17:45:43", 
    "refundStatus" : NumberInt(0), 
    "fee" : NumberLong(2), 
    "netFee" : NumberLong(2), 
    "tradeFrom" : "openapi", 
    "lockFlag" : NumberInt(0), 
    "settRole" : "WXP", 
    "currency" : "CNY", 
    "busicd" : "PAUT", 
    "agentCode" : "25911283", 
    "qrCode" : "weixin://wxpay/bizpayurl?pr=lh73Vjt", 
    "terminalid" : "802918", 
    "errorDetail" : "处理中", 
    "goodsInfo" : "双山趣儿85g,3.0,1", 
    "discountAmt" : NumberLong(0), 
    "merName" : "云高科技服务有限公司", 
    "agentName" : "白山机构"
}
使用 mongoexport 将该表导出:
$ mongoexport --host localhost --port 27017 --username quicktest --password quicktest --collection trans.sp --db quicktest --out trans.sp.json
2016-03-14T14:23:36.985+0800    connected to: localhost:27017
2016-03-14T14:29:28.085+0800    exported 2823382 records
trans.sp.json 大小为 2.6 G,共计两百八十万条记录,本次导出耗时 6 分钟。各参数具体说明:

  • --host 后的 localhost:要导出数据库 ip
  • --port 后的 27017:要导出的实例节点端口号
  • --username 后的 quicktest:数据库用户名
  • --password 后的 quicktest:数据库用户密码
  • --collection 后的 trans.sp:要导出的表名
  • --db 后的 quicktest:要导出的表所在数据库名
  • --out 后的 trans.sp.json:要导出的文件路径(默认为当前文件夹)

2. 单表数据的导入

有借有还,MongoDB 提供了与 mongoexport 命令相对应命令 mongoimport。以下是导入命令:
$ mongoimport --host localhost --port 27019 --username quicktest --password quicktest --collection trans.sp --db quicktest --file /opt/kdf/trans.sp.json
2016-03-17T18:15:33.909+0800    connected to: localhost:27019
2016-03-17T18:15:36.888+0800    [........................] quicktest.trans.sp   1
5.0 MB/2.5 GB (0.6%)
各参数具体说明:

  • -- host 后的 localhost:要导入的数据库 ip
  • --port 后的 27019:要导入的实例节点端口号
  • --username 后的 quicktest:数据库用户名
  • --password 后的 quicktest:数据库用户密码
  • --collection 后的 trans.sp:要导入的表名
  • --db 后的 quicktest:要导入的表所在数据库名
  • --file 后的 /opt/kdf/trans.sp.json:要导入的源文件路径(默认为当前文件夹)

就这么简单。但是有一些地方还是需要注意一下的:

  • mongoimport 执行导入前,新数据库中没有 trans.sp 表一样可以导入成功;
  • mongoexport 和 mongoimport 所需的各个参数输入的先后顺序不严格;
  • 对于副本集,mongoexport 的数据导出可以是副本集中的 primary 节点,也可以是 secondary 节点;
  • 对于副本集,mongoimport 的数据导入必须是 primary 节点;
  • 对于大数据量的导出,用 mongoexport 操作完全不会有生产问题;
  • 对于大数据量的导入(超过 500 MB),用 mongoimport 操作的话会很容易将 primary 节点拖垮,因为这会导致全量同步导致主节点崩溃,所以要避免生产环境中大数据量的导入。正确的做法是先建立单点,导入,之后再建立副本集。

本文示例中所用 MongoDB 版本号为 3.2.1。MongoDB 的安装以及数据集搭建、数据库创建、用户授权等操作请参考博客《我们的一个已投产项目的高可用数据库实战 - mongo 副本集的搭建详细过程》。

参考资料

猜你喜欢

转载自www.cnblogs.com/CHWLearningNotes/p/9141453.html