相信大家都知道工业4.0理念，即利用物联网技术将生产中的供应、制造、销售信息数据化、智慧化，但推行效果并不是很理想，其中很大一部分原因是企业忽略了自身内部信息系统仍有冗余的现象而盲目跟风，过程中由于缺乏建设条件或前期信息化技术储备不足，形成跳跃式断层，最终导致信息化改革中断或失败。

这种结果让我不禁联想到现在很火的大数据理念，大数据一词一度被炒的沸沸扬扬，利用大数据创造企业价值和提高竞争力等各种偏实际或偏浮夸的理念和解决方案一瞬间让大数据变得炙手可热，无论是企业还是软件厂商都一拥而上，人人都想从大数据风潮中分一杯羹或得一份利，但是大数据并不是适合所有企业。即使要做大数据分析，也要有一套正确的落地方案，今天笔者将根据自身对大数据的理解与大家分享讨论下大数据到底适合应用在哪些领域及大数据的落地方案。

在此之前先来分析下，大数据理念推出后带来了哪些影响。

1.大数据为企业带来的变化

1.1 软件厂商

无论是做BI商业智能的厂商还是做报表分析统计业务的厂商，只要与数据沾边的，全部推出大数据解决方案，所谓的大数据分析产品，只不过是把原有的产品换个标签罢了。除此之外，应用软件提供商、软件集成商也纷纷将开源的大数据存储、分析产品与自身产品相结合，推出大数据产品及解决方案，至于产品或方案的效果就不得而知了。

1.2 企业客户

在大数据被热炒的浪潮下，特别是在一些行业/企业中成功实施并带来一定效果后，许多管理高层开始规划建设大数据分析平台，一部分原因是企业希望通过大数据平台带来利益并对其实现效果寄予厚望，另一部分原因是企业迫于同行业竞争压力，但尝试之后发现，真正建设成功或运行起来的企业少之又少。原因很简单，因为他们完全忽略了内部没有整合的信息化系统；重复、错误、不一致的数据；割裂的业务信息和流程，直到建设后才发现大数据为企业信息化带来了新的复杂性，且从中获益所需要付出的前提与努力比预计中的多得多。

目前看来，在大数据建设上，企业需要保持冷静，在真正了解大数据及建设大数据的前提之后在考虑也不迟。

2.大数据定义、特点、用途

2.1 定义

大数据（Big data）或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

对于“大数据” 研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

2.2 特点

体量巨大(Volume)，伴随着各种随身设备、物联网、云计算、云存储等技术的发展，人和物的所有轨迹都可以被记录，数据因此被大量生产出来。
类型繁多(Variety)，数据格式变得多样，涵盖了文本、音频、图片、视频、模拟信号等不同类型；数据来源也变得多样，不仅产生于组织内部运作的各个环节，也来自于组织外部。
价值性(Value)，数据的价值真实性是获得真知的最重要因素，因为处理大数据的实质就是为企业提供决策支持，如果不能保证数据质量，数据分析只成空谈。
速度快(Velocity)，包括两方面，一是数据产生快，二是数据处理快，在数据处理方面，要在秒级时间范围内分析出结果，超出这个时间，数据就失去了价值。

2.3 用途

精准营销：为企业营销投放渠道、营销内容、反馈等提供有效的数据支撑。
业务升级：通过数据反映产品、业务带来的影响和客户的反馈，为业务迭代、流程优化提供数据支撑。
趋势预测：为企业预测新的市场趋势，使企业可以衡量新产品是否会带来新市场，从而决定是否批量生产。
风险预警：通过数据分析进行风险预测，及时提供警告，便于企业进行相关调整与决断。
智能推送：分析用户行为，刻画人物画像，为用户提供智能所需消息推送。

3.大数据常见的应用场景

虽然当下不是所有企业都适用于大数据技术，但不可否认大数据技术在一些行业中是有成效的，如：政府机构、金融、互联网、医疗行业等。

大数据的来源就是基于互联网的数据，而互联网行业对于数据的利用具有先天优势，在数据的利用与分析上更具有准确性和权威性；金融行业属于一种特殊的行业，自有资本，独立核算，涵盖银行业、证券业、保险业，在可分析资源上占有绝对的优势；政府机构对于大数据平台建设的推进更有力度，更容易实施进行，同时在资金方面更加充足。

3.1 互联网应用场景

1.电商

2.社交

如今互联网更加强调的是“社交”和“互动”，社交大数据成为更多商家促进营销的手段，用户可以随时随地在社交网络上分享资讯、美食、影片、旅游地、生活趣事等，这些数据既可以为客户带来效用，也可以为商家或产品导入流量，而这些都来自于用户身份的信息交互和社交应用。

3.搜索

以搜索引擎为支撑，可以收集基于用户搜索行为的需求数据，之后根据用户搜索需求进行精准广告的投放或相关信息的链接、关键词的提示，搜索网站可以以这些数据做为资产，按照点击次数付费带来收益。

3.2 政府机构应用场景

1.工商部门

通过大数据资源，建立注册登记监测预警机制，对市场准入中的外地异常投资、行业异常变动、设立异常集中等异常情形进行监控，对风险隐患提前介入、先行处置，有效遏制了虚假注册、非法集资等违法行为。同时为企业提供产业动态、供需情报、投资情报、专利情报、招投标情报等基础性情报信息。

2.气象部门

通过大数据，抓取气象局、地震局的气象历史数据、星云图变化历史数据，以及城建局、规划局等的城市规划、房屋结构数据等数据源，通过构建大气运动规律评估模型、气象变化关联性分析等路径，精准地预测气象变化，寻找最佳的解决方案，规划应急、救灾工作。

3.医疗卫生

建立人口健康信息大数据平台，公共卫生部门通过覆盖区域的居民健康档案和电子病历数据库，建立数据交换平台和数据共享平台，实现各业务部门数据资源的互通互联，利用大数据，实现检测传染病，进行全面的疫情监测，并通过监测进行快速响应和采取措施。

3.3 金融行业应用场景

1.预测需求

通过大数据，金融企业可监控各种市场推广运作情况，将客户行为转化为咨询流，从中分析客户的个性特征、风险偏好，了解客户的金融往来习惯及使用行为，进一步分析及预测客户潜在的需求。

2.个性化服务

通过大数据所在地的人口特征，年龄及交易量复杂度、客户在网站、手机银行、微信银行等软件使用习惯分析，得出客户比例，针对比例考虑新增矮柜服务窗口并提供大屏幕显示器提醒，提供不同需求的咨询和服务等。

3.风险管控

可通过对企业的生产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效地开展中小企业贷款，同时对中小企业贷款进行风险评估和实时欺诈交易识别、反洗钱交易等手段。

相信除去上述适合建设大数据平台的几个典型行业或部门，其它行业尤其是行业中的大中型私有企业大多数都会对大数据寄予厚望，期待它可以解决长期存在的业务问题，帮助他们在市场抢夺中胜出，使营销模式创新，在产品与服务中更具有优势、竞争力；或者一定程度上认为不上大数据就跟不上时代的形式。如果一定要进行大数据建设，那么一定要认清信息当前的信息化规模，在了解大数据建设的前后关系后，按部就班的进行规划实施，切不可什么都不规划、考虑就轻易将资金投入到大数据的建设中挥霍。下面就来看看对待大中型的私有企业如何进行大数据方案的落地。

4. 传统企业大数据价值分析

4.1 能源

对于能源企业，通过对能源生产、供给、消费、智能设备、客户信息、电力运行等不同数据源的数据进行综合分析，可以设计开发出节能环保产品，为用户提供付费低、能效高的能源使用与生活方式；可以充分挖掘客户行为特征，提高能源需求预测准确性，发现消费规律，提升企业运营效益的同时，增强对企业经营发展趋势的洞察力和前瞻性，有效提高企业决策分析和风险管控能力。

4.2 制造

通过大数据技术，分析系统内部（结构化/非结构化数据）和外部（产业、行业、社交、国计民生数据），贯穿于设计、工艺、生产、管理、服务等各个环节，例如：设备预测维护、优化生产流程、能源消耗管控、对原物料品质进行监控，发现潜在问题并及时预警、通过预测能力改善订单处理方式，在客户下单前处理订单，提高效率、通过预测消费者需求优化物流及合理进行库存管理。

4.3 零售

通过大数据，主要将内部信息（POS信息、商品销售信息、顾客信息、门店楼盘信息、销售额、利润分析等）与外部信息（市场信息、竞争对手信息、流行趋势信息、政策与制度信息、新技术信息、消费趋势等）进行统计分析，帮助企业根据分析客户群属性及活动规律，继而进行客户群体细分，针对性的制定出精细化的营销方案，同时根据市场环境对新产品技术进行预测，创新业务及产品，精准投资，提高投资回报率。

4.4 医疗

通过大数据，结合医院各个信息化系统间的互通数据，并结合患者具体健康情况及过往病史，如：病人基本属性数据、病例数据、用药数据等，帮助医生快速做出诊断及提供针对性的用药治疗、加强对病人的护理，减少再入院几率；在医院管理方面，大数据通过对患者临床记录及相关外部政策、社交评价等信息的收集，便于根据政策及时调整医疗模式，对员工绩效进行考核、优化医院内部付款、临床、服务流程，规范用药标准，提升整体服务能力等。

4.5 房地产

通过大数据，将房地产企业内部（企业信息化系统）与外部（统计年鉴、行业管理部门、相关行业报告、行业专家意见及属地市场调查等）数据进行挖掘、分析，使管理者掌握和了解房地产行业潜在的市场需求，未来一段时间每个细分市场的销售量和价格走势等，针对不同的细分市场来实行动态定价和差别定价；同时可以掌握竞争者的商情和动态，知晓在竞争群中所处的市场地位，了解地产行业黄金地段，辅助投资扩展地段。

5. 企业大数据该如何落地

无论企业如何，有大数据的建设意识，一定程度上可以理解为在信息化建设上还是有一定概念的，但是在建设前一定要清楚两点，第一，大数据并不是可以解决企业信息化中的所有问题；第二，大数据建设的前提是企业具有较高的信息化建设基础。

5.1 大数据不能解决的问题

1.提高数据质量

很多企业管理者会认为大数据分析是对数据治理后进行分析，这样的想法是大错特错的，大数据主要是在合理时间内达到撷取、处理、并整理成为帮助企业经营决策的资讯，期间包括数据的采集、存储、分析、展现，是不涉及到数据治理的，真正的数据治理还是需要专业的数据治理工作，如MDM主数据管理系统。

2.节省工作时间

有些管理者认为企业运用了大数据分析，可以节省员工对市场分析、业务处理、客户维护的时间，但大数据只是起到预测作用，实际的决策还是需要企业自身承担，而且对于缺失对大数据处理数据库、服务器、业务分析技能的企业信息中心来说，一定程度上增加了企业的工作负担。

3.系统数据整合

很多管理者认为大数据的建设会将企业各个应用系统的数据进行整合利用，同时对遗留系统的数据也可以很好的利用，然而大数据是不具备系统数据整合能力的，对于系统的整合还是要依靠专业的整合工具ESB来实现。

5.2 大数据建设的前提条件

上文中提到，在进行大数据建设前要确认企业是否具有较高的信息化建设基础，这里的建设基础如下：

企业是否具有足够支撑数据分析的信息化系统
信息化系统是否存在信息孤岛现象，有无整合
企业内部信息化系统数据是否进行统一的治理（全面性、一致性、准确性）
企业内部系统间业务流程是否进行统一的梳理

5.3 企业典型的IT架构阶段

1.第一阶段

数据治理：对企业组织、人员、岗位进行统一治理，实现数据统一同步及分发，保持数据的一直性、准确性、完整性。
应用整合：集成企业内部各个IT 应用系统，并使之互相协同工作，形成一个更大的整体系统，不只是实现系统间的技术集成整合，还要实现业务之间的有机整合。
门户集成：将企业内部原有的零散系统中的信息、应用、服务通过页面集成、菜单集成等技术整合在统一的访问平台，提供企业范围内的统一授权和身份认证，基于单点登录、个性化配置方式，为企业IT架构提供一个标准的、可扩展的Web 应用基础框架，平台支持多端登录，即PC门户、移动门户；同时建立数据门户。
数据门户：在门户集成中构建企业数据门户，即企业系统数据的统一分析展现平台，通过多样的图表、表格等形式高效地展现，帮助企业进行运筹决策，第一阶段涉及分析的信息化系统根据企业管理者当阶段需求而定。

2.第二阶段

数据治理：根据第一阶段数据治理内容，继续完善企业内部主数据，即客户、供应商、物料等，通过一组标准和方法转换异构操作数据，在整个企业范围内保持数据的一致性、完整性、准确性。
数据分析：通过数据集成将散布在企业所有系统中的数据，以一种松散耦合、集中呈现的方式进行统一管理，使数据在企业范围内互联互通，之后通过配置相关的数据源进行数据获取，以图表报表形式展现结合后的基础数据与业务数据，在数据门户中以柱状图、饼状图、趋势图、雷达图、甘特图、高级表格、树形表格等形式展现，为管理者提供全面的决策分析，同时为下一阶段大数据分析奠定基础。
流程集成：为跨异构系统的流程集成，以业务流程为中心，帮助企业各业务环节与客户需求对齐的管理方法，有效整合人力、信息等资源，实现跨系统、跨部门、跨组织的企业运营，支撑企业实现业务的“纵向贯通”与“横向集成”，帮助企业实现从战略到运营端对端的跟踪、反馈与优化。

3.第三阶段

第三阶段为大数据分析阶段，通过将企业内外部数据进行统一的分析，能够真实、准确、清晰、有效的将企业内部及行业外部相关数据进行可视化展现，帮助企业提升行业洞察力，加强决策力，从而提升整体竞争力，大数据的建设过程分为五步。

数据基础平台建设：建立数据平台的架构，进行数据规范，关键数据指标体系的建立，从各个部门中的业务指标进行提炼。
数据报表与可视化：进行标准化可配置数据报表设计，可视化输出设计，包括行为、收入、性能、质量等多种数据类别。
产品与运营分析：对已有的用户行为和收入数据等进行分析，输出日报、周报、月报等各种专题分析报告，包括：产品优化分析、付费转化率分析、渠道效果分析等。
精细化运营平台：搭建运营平台，进行用户、商品和服务细分，通过多种算法的组合优化进行商品和服务的个性化推荐，针对不同产品的生命周期和用户生命周期构建产品数据运营体系。
战略分析与决策：通过机器、算法和数据分析来实现“业务运营监控层”和“用户/客户体验优化层”工作，真正利用好大数据带来的价值。

5.4 大数据常见的技术手段

大数据处理所涉及的主流技术，一般包括数据存储和管理，包括文件系统、数据库资源管理系统、计算、分析展现工具，如图所示：

在上层为计算处理层，如Spark、Storm、MapReduce包括各种不同计算方式，如批处理、流处理和图计算等；数据分析和可视化基于计算处理层，分析包括简单的查询分析、流分析以及更复杂的分析（如机器学习、图计算等）；查询分析多基于表结构和关系函数，流分析基于数据、事件流以及简单的统计分析，而复杂分析则基于更复杂的数据结构与方法；数据可视化是对分析结果的展示，具体技术细化为数据采集、数据存储、数据汇聚、数据展现、数据使用。

1.数据采集

在大数据分析中，数据采集作为第一个环节，分别采集内部数据（管理系统、Web系统、物理信息系统）和外部数据（行业、产业、社交、国计民生），因为数据来源不同，所以会存在不同的结构，如文件、XML树、关系表、视频声频等，数据采集主要将这些数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。

2.数据存储

一般情况下的数据存储类型多为结构化数据，通过关系数据库系统（RDBMS）即可解决，但是在大数据分析技术中，多为半结构化和非结构化数据，而且各种大数据应用通常是对不同类型的数据内容检索、交叉比对、深度挖掘与综合分析，这就需要用到Hadoop、列存储数据库Cassandra 、文档数据库MongoDB、图数据库Neo4j、K/V存储Redis等。

结构化数据：对于此类数据，主要采用列存储数据库Cassandra来解决，这类技术具有高性能和高扩展性特点。
半结构化与非结构化数据：对于此场景，基于Hadoop实现，通过对Hadoop生态体系的技术扩展和封装，实现对半结构化和非结构化数据的存储和管理。
结构化与非结构化混合数据：对于此场景，基于Hadoop、列存储数据库Cassandra 、文档数据库MongoDB、图数据库Neo4j、K/V存储Redis等技术结合的模式进行数据处理。

3.数据汇聚

数据汇聚，即根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型，这里一般基于Spark、Storm、MapReduce等数据计算框架，通过数据分析算法，进行数据统计分析、实时流处理，机器学习和图计算等。流计算实现对实时数据进行流式计算的能力，例如实时追踪页面的访问统计，训练机器学习模型，自动化异常检测；图计算支持针对图的各种操作以及一些常用图算法；机器学习算法，包括分类、回归、聚类、协同过滤等，提供了评估模型、数据导入等支持功能。

4.数据展现

数据展现部分主要将转换汇总后的数据以可视化的形式直观的展现在用户面前，相比传统使用表格或文档展现数据的方式，展现形式更具多样化、丰富化，包括：饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表，还包括自定义指标、表单查询等功能，可以满足用户不同的展示和分析需求。

5.数据使用

如果大数据只是对数据采集、存储、分析和展现，那么它就没有存在的意义了，而体现大数据真正价值的是数据使用，即这些汇总分析后的大数据可以为企业带来什么利益。

对于政府

可以促进智慧电网、智慧交通、智慧医疗、智慧民生等多个领域的发展，交通方面可以对监控录像信息、地铁公交刷卡信息、停车站收费信息等收集，帮助公交路线设计、车流指挥控制等缓解交通负担，医疗方面通过数字化病历档案，收集病人信息，实现检测传染病，进行全面的疫情监测，并通过监测进行快速响应和采取措施等。

对于企业

大数据能够帮助企业分析大量内外部业务、行业、产业、社交数据，进一步挖掘市场机会和细分市场；帮助企业不同部门管理者掌握风险、决策分析；帮助企业根据用户的反馈、市场需求催生产品和服务上的创新，给符合用户的需求；同时除了帮助企业在战略、市场上的创新，还可以帮助企业在改革中挖掘新的更服务企业业务的管理模式和运营流程。

对于个人

大数据可以帮助用户在消费、信息检索时实现按需搜索，并能提供可信的、真实的、有效的、友好的信息推荐、针对性的服务，如针对个人身体情况提供个性化的医疗服务，针对个人喜欢提供个性化购物服务等，有效地提升用户体验。

6. 关于大数据建设的意见

上述讲到了大数据的含义、为企业带来的变化及适合应用的行业，但这并不意味着其它行业不可以建设大数据，笔者也身处IT行业，对当前大数据技术和理论略知一二，大数据的确可以帮助企业带来利益，但大数据不仅仅是需要上述讲到的建设前提、规划步骤、IT及技术能力，还要考虑管理者的建设意识、大数据建设前期的数据思维、企业自身发展情况等因素。

6.1 意识行动

对于一个企业来说，若想大数据建设到位，管理者的意识行动十分重要，这就要求管理者要具有较强的信息化意识、超前的规划能力、对待变革的创新力、推进执行的决断能力，首先，保证企业的信息化水平整体上处于领先状态，为大数据分析平台建设奠定基础；其次，大数据的建设需要对企业系统数据、业务流程、业务关系等一系列事情进行整理分析，过程是较为漫长的，这就需要管理者有持续监督和推进的意识；最后，平台的建设一定程度上会促进业务的变革，这就需要管理层具备应对变化的能力和创新业务的能力。

6.2 数据思维

无论是大数据还是数据治理，都需要以数据为基础，但相对于数据来说，具有运用数据的思维更重要，即数据思维。数据思维是根据数据来思考事物的一种思维模式，是一种量化的思维模式，是重视事实、追求真理的思维模式。数据思维要求我们理性的正确的运用数据去分析处理一些事物，讲究逻辑关系，用数字说话，而不是靠传统的经验去判断。

那么为什么要企业管理者具有数据思维呢？大多情况下，企业习惯用经验去判断一件事发生的原因及规律，很少从数据结果上去评判推断事情的规律，这就会造成企业忽视数据的重要性，数据治理薄弱，最终不能为大数据奠定良好的基础；第二，管理者通常习惯经验判断模式，数据思维意识较弱，在大数据分析产生的结果和事实面前，如果与预期不符，会感到无法接受，并感到自己的权威受到挑战，从而不能更好的适应和利用大数据平台，所以只有具有数据思维意识才能掌握大数据思维，而避免思维产生断层。

6.3 结合自身

相信对于大多数的大中型私有企业来说，企业主要的关注点一定是在成本、收入、利润、风险这四点上，而企业若想对着四点数据进行把控，不通过大数据技术手段也是可以实现的，因为这些关心的数据更多的是对企业内部的系统数据进行汇总、治理、集成、分析、展现、融合。

如果一定需要分析展现的平台，事实上，使用企业数据门户就可以满足现阶段的要求，数据门户通过对企业各个应用系统的数据进行整合，将企业成本、收入、风险等数据统一分析，并以图形化、图表化等形式展现。为各层管理者提供管理驾驶舱、决策战略室、运营分析平台，同时里面涵盖了KPI指标、数据统计分析、监控预警等功能。

企业的管理层有大数据意识是件好事，但是一定要在力所能及的情况下进行建设，面对当前需要，可以选一款好的平台产品搭建数据门户满足当前需求，在建设过程中一方面不断完善企业内部关于信息化建设、推进的制度/文化，培养企业员工的信息化意识，提升对信息化的重视程度；另一方面逐渐完善加强信息化基础设施的建设、搭建统一的IT架构，为后续大数据平台建设奠定基础，待IT设施与大数据建设条件配套后，届时大数据分析平台一定可以成为为企业带来利益的最佳助手。

论企业大数据的落地路径