从商业智能BI能做什么引出的思考
摘要
商业智能、BI、Spark、hive、ETL、powerBI、FineBI、PaddlePaddle、人工智能、数据挖掘、DBA、物流、用户画像建模
前言
我在9月中旬到12月中旬的学习规划中，想找到一条自己学习方向的路，来让自己变得更有价值。初次尝试通过分析自己的定位来确定自己发展的方向。从自己会什么以及自己对什么感兴趣出发，来准备技术栈，那时候还比较模糊，在摸索中。
今天（9/18）突然想到自己可以不用摸索，我可以和工作结合起来，半年后我打算做什么工作，那么我就准备这个工作的技术栈和作品集。
而且我学习技术其实最后还是要找工作的。毕竟理想需要面包支撑，如果我学了许多技术，但是却找不到工作，那么也不利于我继续做技术。
这个想法的产生我马上开始找商业+数据分析相关的岗位。然后通过这些岗位的技能要求来准备自己的技术。
文章目录
从拉勾上看BI
面向工作编程。当某个工作在市场成熟，那么这个工作就会专业化，演变成一个工种，可以根据工作技能去强化，以此胜任这份工作。
市场上的商业数据分析已经出现好几年了，所以按理说应该会普遍化。于是我尝试性在boss直聘和拉勾上搜BI（商业智能），果然搜出了对应的岗位已经岗位需求。
在会计学（第一课）笔记中，我已经搜过数据分析师这个岗位，但是还是搜集数据-处理数据-展示数据这三部分。总觉得好像差了点什么，仔细想想应该是没和商业（业务）结合起来。
在我想找的这个数据分析师的技术中，说到了
从表中可以归纳出商业数据分析所需要的三个技能
- 数据库：精通SQL、熟悉数据spark、hive等数据库工具。
- 数据处理：使用Python，熟悉常用的数据统计和分析方法；
- 数据可视化：tableau、powerBI。
其实和做网站类似，得到数据，处理数据，展示数据。其中机器学习模型、数据报表、spark、hive等数据库工具、Python分析、powerBI等数据可视化工具我都还没接触过，可以了解一下。
不过收获还是有的，至少让数据分析落地了，我之前就感觉数据分析差点东西，原来是差了分析方向。毕竟说那么多有什么有什么，但是最后却不知道做什么就尴尬了。
从数据库看BI
现在是第二天，昨天没写完，我把上一部分补充了一下。今天（9/19）因为手机上一条CSDN发的短信——百度智能云TechDay计算&网络技术创新沙龙-北京站。然后搜索了TechDay计算&网络技术创新沙龙。点开了一个阿里云的链接（有的滑稽，本来是因为百度TechDay才搜索的，结果我去看阿里的TechDay了）。
这个链接讲云头号话题。是2020/6/9时候的。讲传统数据库技术与阿里云原生数据库。主持人是呼兰（哥伦比亚大学精算系硕士），嘉宾有李飞飞（阿里巴巴集团副总裁、阿里云数据库掌舵者、达摩院首席科学家、ACM杰出科学家）、盖国强（Oracle大佬）、陈刚（浙江大学计算机学院院长）。都是数据库方面的大佬。
开始我只是随便点着看看，没想到内容不错，被吸引了。
中年程序员的焦虑。写代码成了劳动密集型企业。DBA。未雨绸缪。程序员也是作家。焦虑才是正常的，要有危机感，才能持续学习，不要出道即巅峰。爱焦虑的人运气都不会太差。
脉脉行业分析报告《2009-2019IT行业10年变迁》。热门企业的变化。说热招岗位变化。之前是努力，现在是抗压。黄金十年。技术大爆炸。传统数据库已经走过最光辉的时代。十年前热门的岗位是DBA，现在是数据架构师和算法分析师。DBA是执行SQL，传数据，跑别人的SQL。环境的变化带来了物种大爆发。技术大爆炸带来机遇和调整。变化很快。正常的输入，通过写程序，输出。70岁的老奶奶自动连WiFi、随身码等；变化大。支付宝打开各种绿码。
行业的DBA、运维何去何从。从业者焦虑，具体焦虑。数据库的最后一公里，得DBA得未来。三十万DBA平稳过渡到云时代。云数据库的初级阶段。不要太焦虑，遍地机会和机遇。凡是过往，皆是序章。新的技术。最先进的生产力。对于运维来说，数据库很关键。得生态者得未来。一主一备双引擎。
互动话题。传统数据库工程师转型难吗？发力点，转型的准备工作。（数据库安装、备份、运行，监控，巡检），演进到数据架构师和算法工程师。DBA变化不大，在小变化，不想其他IT领域。不过云数据库是趋势。水井（商业型数据库）与自来水厂（资源池化）。高可用不可逆。疫情让企业上云。自己弄机器，资源损耗。大势所趋，认清形势，顺势而为，拥抱变化。
云原生数据库和传统数据库在产品和技术层面上有哪些差异点和共通点，转型过程中应该注意什么。上层（洗车）、中层（造车）。高度兼容现有生态。云数据库的核心技术点：云原生、分布式、智能化、安全可行、数据库与大数据技术深度融合；5G+IoT对多模数据库。油动车开到了电动车。新事物。春晚随风潜入夜，润物细无声。电动车担心没电，油车靠谱。
蛮不错的（我上面就没细写每一句台词，知识罗列关键词，感兴趣值得一看，质量高，反复看了三遍），主持人提出问题，然后传统数据库代表人物说自己的观点，接着云原生数据库代表人物说自己的观点，学院派老师说自己的观点。最后一起讨论。
很显然传统数据库代表传统数据库Oracle的行业体会；云原生数据库代表人物代表阿里云的行业体会；学院派老师代表学术界的观点。
这三个观点综合起来，就十分有趣。另外从立场来看，这个视频的意义在于让技术人员了解云数据库。
有启发的句子
十年前热门的岗位是DBA，现在是数据架构师和算法分析师。未来也会改变。爱焦虑的人运气都不会太差（危机感，未雨绸缪）。
凡是过往，皆是序章。换种角度，不是行业替换，而是行业进步。过往的都成序章，现在开始我的故事。
一主一备双引擎，开源商业两相宜。学技术也是一样，有个备用的技能。防止黑天鹅。业务会很突然。比如大V推荐。
水井（商业型数据库）与自来水厂（资源池化）。这是趋势。
有些技术出道就工资高，其实是对从事这个行业转型特别频繁特别快的一种奖励。一年前与现在会有很大的提升。
5G+IoT对多模数据库。云边端一体化。
从时空大数据看BI
看完云数据库后，我对这些大佬讲座报了很大期望。然后点开其他链接，发现大部分是个人讲PPT或者介绍产品。大喜过望了。不过有个讲【物流科技说】第9期01：时空大数据若干技术及其应用的，讲的还不错。我工作的时候也是在一个时空大数据公司工作。对于空间地理在地图上的实时变化，十分感兴趣。
这个时空大数据的应用场景很广。比如物流、地铁、交通、房价，路径规划等。
时空大数据处理的内容是对象的空间信息和时间信息，需要获取的数据是有空间信息等；然后处理这些信息；接着展示这些信息；最后得出结论。
商业智能处理的内容是报表信息，需要获取报表的数据，然后处理报表数据，最后展示报表数据。
不过商业也需要时空。有些商品和区域和季度息息相关。
专业名词解释
spark
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。
Spark 主要有三个特点 ：
- 首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。
- 其次，Spark 很快，支持交互式计算和复杂算法。
- 最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。
简而言之，spark是通用引擎，可以完成进行SQL查询（sparksql)、文本处理(sparkStreaming)、机器学习(MLlib)、图形处理GraphX。
Hive
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
看了好像还是sparkSQL好。功能更完善。
ETL
ETL（extract-transform-load）技术。用来将数据从来源端经过抽取extract、转换transform、加载load至目的端。ETL一词常出现在数据仓库中，但不限于数据仓库。
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据， ETL是BI（商业智能）项目重要的一个环节。
这个环节有意思。我之前就设想过这部分工作，那时候我把这部分归为数据库那一块。不过把这部分工作抽离数据库很合适。
通过设计，提高数据库使用的效率。
商业智能
商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具
简而言之，帮企业做决策的工具。是传统行业报告的进阶。这个商业智能更加科学和全面，可以分析出许多信息，帮助决策者分析。并且还具有实时性。
从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。
- 数据仓库就是将报表存入数据库中，用的技术栈是SQL、spark；
- 在线分析处理就是把数据呈现处理，用的技术栈是后端技术栈、前端技术栈；
- 数据挖掘就是找数据间的关系，用的技术栈是Python（人工智能的库）。
实施商业智能系统是一项复杂的系统工程。大致实施步骤为：
需求分析：收集企业需求，想通过什么数据得出什么结论；
数据仓库建模：对企业需求分析，建立企业数据仓库的逻辑模型和物理模型；
数据抽取：将数据从业务系统抽取到数据仓库。在抽取过程必须对数据进行转换、清洗，以适应分析的需要；
建立商业智能分析报表：就是数据可视化
用户培训和数据模拟测试：给用户使用；
系统改进和完善：迭代升级
这个就是软件工程中的可行性研究、需求分析、设计、编码、测试、集成和维护。感觉好有意思。大学里教的东西真的就像内功，万金油，哪都能用。
powerBI
Power BI是微软最新的商业智能（BI）概念，它包含了一系列的组件和工具。会excel就会Power BI，易上手。操作基本都是拖拽，不过其探索式分析能力有限，但功能简单。
PowerBI教程合集中可以看看powerBI可以做什么。
看了Power BI财务报表分析，大致明白powerBI可以做什么了。简单说是用PowerBI这个软件可以实现抓取数据、存储数据、建立数据模型、可视化（构建报表、指标计算、可视化）、生成报告一条龙服务。
可以通过powerBI切入数据分析。做商业分析。
看排名，好像fineBI比powerBI更受欢迎些。都可以尝试。
PaddlePaddle
百度的人工智能框架。可用于数据挖掘。
相关词汇：Python、Numpy、数字识别、计算机视觉（图像分类、目标检测）、自然语言处理NLP（自动生成章节目录）、个性化推荐（推广告、推电影、抖音）。
可以通过使用PaddlePaddle切入人工智能。做商业智能。
补充文章
我自己认为的数据分析是统计；
而商业智能则是不仅有统计，还有人工智能进行数据挖掘，找出不相关的数据之间的相关性。为决策者提供更多信息。
我最终的认识
比较好的一面是明白商业智能与商业分析的区别了。
商业智能可以找到统计之外的信息，利用人工智能找出数据之间的相关性。
不过一般来说商业分析就做过商业上的统计分析了。人工智能不仅统计，还找相关性。
用FineBI切入商业分析；用PaddlePaddle切入商业智能；
看了一个博主Leo.yuan，和商业智能相关，还不错。以后多看看。
听舍友和女朋友聊天，而我不没和女朋友聊天，好没意思。懒得总结了。
更新地址：GitHub