CSDN 直播课程学习笔记
云端实验室环境
基于开源的ambari大数据平台，部署了7个节点：
一、 项目背景
企业可能对用户在微博上的评价内容有监测需求，如活动效果、用户对产品的评价，用户关注于产品的价格还是功能等等。
本平台用来获取微博的数据（数据量大、非结构化数据），进行数据分析，存储在云平台，将结果输出给企业。
二、 项目架构
1. 数据源
微博数据：
2. 数据层
本次数据层主要讲主数据仓库。
数据仓库是为应用层提供数据服务的。
数据仓库表设计
数据仓库一般是离线数据分析使用，每天要跑的固化需求。如果是临时需求（提数），就要让大数据开发人员专门做一条数据报表出来。
3. 平台层
ODS层：数据是清洗后的。
4. APP区
从数据仓库区取数据分析展示。
三、 平台演示
运维人员一般使用Ambari，作为大数据的管理平台，而给开发人员使用跳板机（或堡垒机）。
开发界面示例：
select count(*) from web_log_192g
公司开发时，运维一般给不同团队分配不同队列，不同队列会有不同资源。
虽然Spark比较成熟，但大多数公司对离线分析还是用Hive多一些。
企业微博声量号的分析：
统计微博最新状态下被评论 最多的Top10账户id，
注意：每个用户的微博进行去重之后，筛选出同一条微博的最新状态。
开发有两种方式，一种在Ambari web平台写脚本。
实际中使用引入一个开发平台。这里是Hue。
每天都要跑的定时任务，一般用这样的平台设置一些权限，
在这里写经常用的SQL
点击Save As，
这样平时开发的SQL都可以保存下来。
如果要执行，那要设计一个执行器：
企业中使用一般会针对这个界面进行二次开发
新建一个流程：
然后添加流程：
设置运行条件：
选择数据：
