SQL Server 数据批量导出处理

在实际项目环境中,有时会遇到需要将大量数据(这里所指百万级别以上的数据量)从一台服务器迁移到另外一台数据库服务器的情况。SQL Server有很多方式可以进行数据迁移:备份还原、导入/导出数据、生成脚本(包含数据)等,以下只针对“导入导出数据”方式来进行测试演示(其他方式自行查找官方文档说明)。

现有一个300W左右的数据库,需要从本地迁移到远程服务器上(从源数据库->目标数据库,使用导出数据方式)。

一、生成导出数据SSIS包。

首先,在SQL Server数据库对象管理器中,展开数据库->选择相应数据库 点击右键 -> 任务(T) -> 导出数据(X)...,如下图:

打开“SQL Server 导入和导出向导”页面,点击“下一步”选择 数据源(即要从中复制数据的来源),设置 源数据库的服务器名称、身份验证以及数据库,如下图:

“下一步”进入设置目标数据源(即要复制到的目标数据库),与上一步同理,设置目标数据源的 服务器名称、身份验证、数据库,如下图:

完成源和目标数据库的设置后,下一步,指定表复制和查询。如果将整个数据库所有表数据都迁移,选择第一项“复制一个或多个表或视图的数据”;只是迁移部分数据(一个或多个数据表),选择第二项“编写查询以指定要传输的数据”,编写SQL查询语句来对复制操作的源数据进行操纵或限制,如下图:

当前演示迁移数据测试是从本地到远程服务器,因网络问题直接连接远程服务器来导出数据,执行期间会出现网络断开的情况。

以下使用SQL分批导出方式进行处理,每次导出10W条数据。

选择“编写查询以指定要传输的数据”选项,下一步,输入要查询数据的SQL语句,如下图:

注:这里输入的SQL语句只支持查询select语句。

下一步,可以查看到 源与目标 的表或视图情况,上一步使用了SQL查询来导出数据,这里 源 位置所显示只是一个【查询】结果集,目标 位置可以选择目标数据库要接收数据迁移对应的数据表,如下图:

注:接收数据迁移的目标数据表结构必须与SQL查询返回的【查询】结果集结构必须一一对应。如不选择目标数据表,目标数据库中会自动创建一个名为“查询”的数据表来存储迁移数据。

进入下一步,可以“立即运行”(默认选中)SSIS包来执行导出数据操作,也可以先保存导出数据配置的SSIS包,在特定时候才去执行。目前测试受限于网络问题,使用“保存SSIS包”方式来处理。取消“立即运行”复选项,会自动选中“保存SSIS包”选项,选择“文件系统”方式来保存SSIS包(生成*.dtsx文件),方便迁移文件到远程服务器上执行导出,如下图:

保存 SSIS 包 两种方式:【SQL Server】 和 【文件系统】。

【SQL Server】 方式 => 保存在SQL Server系统内部,需要连接SQL Server Integration Server服务才能执行;

【文件系统】方式 => 将SSIS包保存到指定系统目录下。

下一步,给SSIS包指定一个名称以及文件存在的目录(默认是保存到系统盘->当前用户名所在文档目录下),如图:

下一步,点击“完成”按钮,系统会根据前面几步的设置生成相应的SSIS包,如图:

完成后,点击 【关闭】按钮,退出【导出数据】向导设置。

因使用分批导出数据(每次导出10W条数据),需要重复操作上述步骤,生成所有数据的SSIS包。

二、执行导出数据SSIS包

完成第一部分操作后,将SSIS包Copy到要目标数据库所在服务器,双击SSIS包(*.dtsx)自动运行 执行包实用工具,如下图:

 点击“执行”按钮,系统会根据SSIS包的设置来导出数据到目标数据库表里,自动显示 执行进度 情况,进度出现 完成占用时间 时,表示SSIS包已执行成功,如下图:

重复上一步骤,执行完余下的SSIS包。

到这里,已完成数据迁移处理。

三、总结

  1. 进行数据迁移可以使用SQL Server自带的导入\导出功能
  2. 导出数据可以指定SQL查询方式来处理
  3. 大量数据迁移网络通信受限的情况下可以使用分批导出方式

猜你喜欢

转载自blog.csdn.net/LZD_jay/article/details/129035385