【阿里云】互联网、电商行业实时大数据分析及大屏 DataV 展示最佳实践学习

一、前言

电商网站购物数据通过实时大数据分析后在大屏幕上展示,如购买人群热销商品排名、购买人群区域分布、购买人群年龄分布等。大屏上全国上亿买家的订单数据可视化动态展示,效果震撼;触控大屏支持用户自助查询数据,极大增强数据的可读性。

主要是解决

  1. 电商、营销大屏实时数据展示
  2. 内容、直播大屏实时数据展示
  3. 教育、金融大屏实时数据展示

用到的产品列表

  • 云服务器ECS
  • 专有网络VPC
  • 负载均衡SLB
  • 云数据库RDS MySQL版
  • Datahub
  • 实时计算 (blink)
  • DataV
  • 数据传输DTS

方案架构

  • 用户订单数据实时同步到Datahub。
  • 通过实时计算实时处理来自Datahub的数据,对数据进行实时ETL处理。
  • 处理完结果数据写入RDS。
  • 需要展示的结果数据通过DataV在大屏上实时展示。

本文介绍了使用阿里云实时计算(blink)、数据库(RDS)、datahub、dataworks等产品实现电商网站实时数据分析,分析后的结果实时在大屏展示,场景完全模拟了天猫双11,让电商网站快速实现和天猫双11同款的大屏展示功能。

本文以完整的实践Demo为例,提供从电商网站搭建、数据从RDS流转到datahub再到blink实时分析,分析结果写入RDS数据库,再到大屏展示实时分析结果的全流程参考示例,可作为客户、架构师做PoC验证使用。

一、搭建电商网站Demo

说明:部署云上资源可以通过阿里云管理控制台或Terraform两种方式实现,选择其一即可。管理控制台方式请参考1.1;Terraform方式请参考1.2。Democode下载:使用gitclone https://code.aliyun.com/best-practice/059.git下载。

1.1.通过阿里云管理控制台部署云上资源

1.1.1.创建专有网络VPC

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.1.2.创建云服务器ECS

在阿里云管理控制台,通过产品与服务导航,定位到云服务器ECS,单击进入云服务器ECS管理控制台。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.1.3.申请弹性公网IP并绑定ECS

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.1.4.配置安全组规则

在这里插入图片描述
在这里插入图片描述

1.1.5 创建云数据库RDS

创建RDS实例

步骤一 通过产品与服务导航,定位到云数据库RDS版,单击进入云数据库RDS管理控制台。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2.通过Terraform部署云上资源

背景信息

熟悉云上资源部署的用户,可使用Terraform进行操作,效果与通过阿里云管理控制台实现的效果完全一致。使用Terraform,可快速部署云资源,并进行多云管理。

操作步骤

步骤1 登录Terraform官网下载页面。(https://www.terraform.io/downloads.html)。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.3.电商网站初始化

1.3.1.电商应用环境初始化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.3.2.电商网站账号注册

在这里插入图片描述
在这里插入图片描述

二、同步数据至DataHub

2.1.创建DataHub项目

在这里插入图片描述

2.2.通过DTS同步数据至DataHub

步骤1 登录阿里云管理控制台。(https://home.console.aliyun.com)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3.验证订单数据同步功能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三、使用Blink实时处理数据

3.1.实时计算(Blink)角色授权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2.创建数据结果表

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3.进行数据开发

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.4.实时计算结果验证

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、DataV大屏展示

4.1.开通DataV服务并创建项目

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/BeiisBei/article/details/106492354