利用Data Lake Analytics查询DBS备份的数据

利用Data Lake Analytics查询DBS备份的数据

我们假设有这样一个场景:
        1、业务有50个库,每次数据库全量备份约1个小时,还原约1.5小时;
        2、备份后的数据大约有10G;
        3、通过查询数据需要联合至少3张表;
        4、领导突然想验证一下前几天的某些数据,对比一下生产和备份库中的数据是否一致。
        如果恢复到本地,1.5个小时小半天就过去了,再加上查询汇报总得2个小时吧。这个时候怎么能快速的得到结果?
        使用DLA(Data Lake Analytics)能快速从OSS对已有的数据进行查询,就像在本地运行SQL一样丝滑。让原来需要2个小时的工作只需要几分钟就能搞定。

        DLA是Serverless化的交互式联邦查询服务。无需ETL,使用标准SQL即可分析与集成对象存储(OSS)、数据库(PostgreSQL/MySQL等)、NoSQL(TableStore等)数据源的数据。
        DLA官网链接:https://www.aliyun.com/product/datalakeanalytics

        我们看下具体的步骤吧:
        (前提:目前只支持在逻辑备份下对全量备份数据进行查询。)
        1、在DBS控制台,找到我们要查询的备份集,点击右侧“管理”。
1_

        2、在左侧导航栏找到“备份任务”->“全量数据备份”,点击“查询备份集”。
2_

        3、出现下图对话框点击确定跳转到DLA控制台。
3_DLA_

        4、如果是第一次,请按提示进行授权,授权后刷新一下
4_OSS_DLA_

        5、我们再次进入就看得到如下图所示的备份集:
5SQL_DBS_

        6、我们可以看右上角“登录到DMS来执行操作”,在点击前我们先创建一个账号,如果之前有创建过账号可以忽略,记住账号和密码(不是数据库对应的账号的密码),第9步会用到。
6_

        7、创建访问点管理,如果之前有创建过同地域的访问点,步骤7、8可忽略。
7_

        8、创建DLA引擎服务访问点。
8_

        9、我们回到SQL执行导航栏,选中要执行的备份集(可参考第5步的截图),单击右侧“登录到DMS来执行SQL操作”,此处会跳转到DMS的登录窗口,此处我们输入步骤6的账号和密码。
9_DMS

        10、现在就可以在DMS窗口像操作RDS一样的对数据进行查询了
10_

        好了,到这里就可以正常查询了。熟悉了流程后,领导交待的事情可以在几分钟内搞定,剩下的时间就是你的,你的地盘你做主。
快速查询备份数据:https://help.aliyun.com/document_detail/97632.html

猜你喜欢

转载自yq.aliyun.com/articles/733973