本次项目被抄袭的可能性不是太大,因为抄袭的只能是需求,代码只能抄一部分,因为讲几期就有几期不同的代码。来看看项目都讲了什么?
综合项目-模块1-数据仓库-day01
01.项目开发前置知识--git版本管理--gitee码云-提交-拉取-分支操作.wmv
02.项目背景介绍.wmv
03.项目背景介绍(2).wmv
04.项目模块1-数仓介绍--字典数据构建需求.wmv
05.数据库和数据仓库等概念的厘清.wmv
06.项目开发工程骨架搭建和测试.wmv
07.项目开发--地理位置字典构建--geohash编码原理和工具包.wmv
08.项目开发--地理位置字典构建---代码实现(1).wmv
09.项目开发--商圈字典构建---代码实现.wmv
10.项目开发--公司内部数据--流量日志详细解析.wmv
11.项目开发--内部数据预处理--需求说明.wmv
12.项目开发--内部数据预处理--代码骨架编写.wmv
13.高德地理位置服务api介绍.wmv
14.高德地理位置服务api-编写demo示例.wmv
综合项目-模块1-数据仓库-day02
01.内部流量日志预处理代码实现(1).wmv
02.内部流量日志预处理代码实现(2).wmv
03.内部流量日志预处理代码实现(3).wmv
04.自定义schema的方式让spark自动解析json数据为dataframe.wmv
05.数仓建模思想阐述--业务--需求--主题--分层.wmv
06.数仓ods层建模--建表--数据加载--检测.wmv
综合项目-模块1-数据仓库-day03
01.sql关键语法复习梳理.wmv
02.流量分析-dwd_traffic_log表加工生成.wmv
03.流量分析-dwd_traffice_agg_session会话级别明细表.wmv
04.流量分析-流量概况维度报表-ads_traffic_summary_cube.wmv
05.用户分析--建模设计--详细过程.wmv 号外:如何拷贝涛哥的CDH虚拟机集群及网络配置.wmv
号外:补充两个hive的小技能--多重插入-动态分区.wmv
综合项目-模块1-数据仓库-day04
01.olap数据立方体多维分析--hive高阶聚合函数--groupingset--cube.wmv
02.olap数据立方体多维分析--hive高阶聚合函数--grouping__id-rollup.wmv
03.用户分析--日新dws_user_dnu-日活dws_user_dau-历史记录dws_user_hisu-表开发.wmv
04.用户分析--日新人数多维报表-ads_user_dnu_cube.wmv
05.用户分析--日新日活加维度(周-月-季)--自动化shell脚本开发.wmv
06.截止今日的etl流程梳理--自动化脚本开发.wmv
综合项目-模块1-数据仓库-day05
01.勘误:历史用户记录明细表-fulljoin-忘写条件.wmv
02.截止今日所有任务的脚本开发(2).wmv
03.脚本总调度开发.wmv
04.用户分析--留存分析--建模设计.wmv
05.用户分析--留存分析--留存明细表计算.wmv
06.用户分析--活跃拉链表--建模和计算流程.wmv
07.用户分析--活跃拉链表--代码编写.wmv
综合项目-模块1-数据仓库-day06
01.用户留存分析--建模设计--运算逻辑--拉链表计算逻辑复习梳理.wmv
02.报表开发--整体趋势报表--模型设计--计算流程梳理.wmv
03.报表开发--整体趋势报表--ads_overall_trend开发.wmv
04.报表开发--用户新鲜度报表-ads_user_fresh建模.wmv
05.报表开发--用户新鲜度报表-ads_user_fresh开发.wmv
06.报表开发--用户活跃留存报表-ads_user_act_retention.wmv
07.报表开发--用户活跃留存报表-方案2-with-as必须写在最前.wmv
08.报表开发--活跃用户成分分析报表(连续天数)-ads_user_act_ingredients.wmv
综合项目-模块1-数据仓库-day07
01.报表统计-用户使用间隔分布统计-ads_user_interval-spark任务实现.wmv
02.报表统计-用户使用间隔分布统计-ads_user_interval-sql实现.wmv
03.事件分析主题--事件日志数据获取的背景介绍.wmv
04.事件分析主题--转化率(漏斗模型)概念详解--需求分析.wmv
05.事件分析主题--DWD层建模etl-dwd_event_detail.wmv
06.事件分析--事件概况报表-ads_event_overall.wmv
号外:mapreduce-shuffle环形缓冲区详解.wmv
号外:yarn的三大资源调度策略详解.wmv
综合项目-模块1-数据仓库-day08
01.访问路径分析-dwd层路径分析明细表-dwd_routes_detail.wmv
02.访问路径分析-ads层路径分析报表-ads_routes_rpts.wmv
03.业务路径转化率分析--建模--计算思路设计.wmv
04.业务路径转化漏斗分析--代码实现-ads_routes_step_detail.wmv
05.广告效果分析主题--DWS及ADS层建模设计.wmv
06.广告效果分析--ads层报表--广告概况报表-ads_ad_overall开发实现.wmv
07.拉新活动效果分析报表.wmv
08.优惠活动效果分析开发实现.wmv
综合项目-模块1-数据仓库-day09
01.数据迁移工具sqoop-安装-导mysql到hdfs.wmv
02.数据迁移工具sqoop-导mysql到hdfs-指定条件-增量导入-自由查询.wmv
03.数据迁移工具-sqoop-导mysql数据到hive.wmv
04.数据迁移工具-sqoop-导出数据到mysql.wmv
05.业务数据分析--数据迁移--user_info导入脚本开发.wmv
06.数据迁移--脚本开发--销售分析--建模设计.wmv
07.订单分析--成交额分析报表-ads_order_amt_cube.wmv
08.订单分析--GMV多维分析报表.wmv
09.订单分析--品类分析报表.wmv
综合项目-模块2-用户画像-Day01
- 大数据的各行业应用解析
- 用户画像项目背景介绍--标签体系解析
- 用户画像项目--数据介绍--DSP业务部数据
- 用户画像项目--数据介绍--公司内部数据--DSP业务部数据
- 用户画像项目--数据介绍--云运营商流量数据
- 用户画像项目开发整体流程解析
- 图计算核心概念介绍-图-点-边-有向-有环-度-连通子图-点边数据结构
- 图计算入门案例--求连通子图
- 图计算入门案例--求连通子图(2)
综合项目-模块2-用户画像-Day02
- 图计算入门案例联系2
- 项目开发-id映射字典-发开需求-计算流程解析
- 项目开发-id映射字典构建(T日初始构建)
- 项目开发-id映射字典构建(T+1日)(1)
综合项目-模块2-用户画像-Day03
- id-mapping代码实现(2)--组id调整
- Id-mapping代码实现(3)--改造成对真实数据进行计算
- dsp数据预处理开发(1)
- 综合项目整体架构流程解析(1)
- 用户画像-dsp日志预处理-代码实现
- 用户画像-dsp号外-kpi报表统计
- 用户画像-dsp号外-kpi报表统计(sql实现版)--dataframe写入mysql
综合项目-模块2-用户画像-Day04
- 用户画像-doit流量日志预处理
- 用户画像-doit流量日志预处理(2)
- 用户画像-cmcc流量日志处理-爬虫背景介绍
- 爬虫入门-jsoup功能介绍-京东户外品类爬虫实例(1)
- 爬虫入门-京东户外品类爬取开发(2)
综合项目-模块2-用户画像-Day05
- 用户画像-预处理-cmcc流量日志预处理
- 用户画像-标签抽取-标签结构复习-标签编程模型设计
- 用户画像-标签抽取-标签计算策略流程分析
- 用户画像-DSP标签抽取-标签分数统计
- 用户画像-DSP标签抽取-标签按人聚拢(1)
- 用户画像-DSP标签抽取-标签按gid聚拢(1)
- 用户画像-DOIT标签抽取-多易标签-数仓统计
- 用户画像-DOIT标签抽取-多易标签-日志数据抽取
- 用户画像-DOIT标签抽取-多易标签-数仓报表数据抽取
综合项目-模块2-用户画像-Day06
- 用户画像-cmcc标签抽取
- 用户画像-多源标签聚合合并--多层map拼装
- 用户画像-多源标签聚合合并-标签bean合并-bean转json
- 用户画像-两日标签衰减合并--需求说明-流程设计
- 用户画像-两日标签衰减合并-代码实现-标签json化
推荐算法
综合项目-模块3-推荐算法-Day01
- 推荐系统导论--热度推荐-画像推荐-算法推荐
- 机器学习算法导论--knn分类-kmeans聚类-监督学习-无监督学习-半监督学习
- 机器学习算法核心基础--特征向量模型(稀疏向量-稠密向量)
- 机器学习算法核心基础--物品向量化实战案例(1)
- CB推荐-基于内容相似度的推荐算法--实现流程总架构
- NLP算法模型之--TF-IDF特征值计算--文本向量化
- NLP算法模型之--TF-IDF文本向量化实战
- 分类算法--朴素贝叶斯教学思想和公式推导
- 分类算法--朴素贝叶斯--模型训练和预测代码实现
- 分类算法--朴素贝叶斯--模型训练和预测代码实现
- 项目实战--评论数据集的朴素贝叶斯分类
综合项目-模块3-推荐算法-Day02
- 基于内容相似度推荐计算的流程复习
- 基于内容相似度推荐--代码实现(1)
- 基于内容相似度推荐--代码实现(2)
- 基于内容相似度推荐--代码实现(3)
- 协同过滤推荐算法--算法思想原理
- 协同过滤算法--算法代码实现--结果展示
- 模型标签计算-流失率标签-朴素贝叶斯应用-向量归一化
综合项目-模块4-Flink实时计算-Day01
- Flink知识回顾
- Flink重启策略
- Flink重启策略测试
- Flink整合KafkaSource
- Flink整合KafkaSource实现Exactly-Once
- Flink整合RedisSink
- 自定义MysqlSink
综合项目-模块4-Flink实时计算-Day02
- Flink内容回顾
- 在集群中提交Flink任务
- Flink的StandAlone执行流程
- FlinkOnYarn执行流程详解
- Flink的Stage划分原理
- Flink从checkpoint恢复数据
- 项目工程初始化
- FlinkUtils工具类封装
综合项目-模块4-Flink实时计算-Day03
- 复习
- 实时计算业务架构
- 实时计算业务架构升级
- Nginx的安装
- OpenResty的安装
- 日志采集服务器
- 讲Nginx数据采集到Kafka中
- 日志采集数据测试
- 数据实时ETL
- 测流输出
- 测流输出实现
- 自定义RedisSink
- 多维度统计参与次数
综合项目-模块4-Flink实时计算-Day04
- 知识回顾
- 实时项目架构梳理
- canal的简介
- canal的安装和使用
- 订单数据分析需求
- Flink统计订单数据
- Flink窗口延迟JOIN
综合项目-模块4-Flink实时计算-Day05
- Flink通过测流输出获取窗口丢失的数据
- 左join并获取延迟的数据
- Flink两个流join
- 订单和明细表中实现
- 项目知识点回顾
- ProtoBuffer结合Flink优化