论以建筑全生命周期管理建设公司大数据平台（初稿）
李万鸿 2018
一．引言
大数据、云计算、物联网、人工智能、移动技术的迅猛发展，把世界带入崭新的时代，在大数据时代背景下，传统的房地产评估行业发展思路和战略格局正发生着巨大的变化。云计算、大数据等先进技术为房地产评估行业发展提供了强有力的支持。现实运用中最重要的是对大数据的分析，是通过分析后获取到的更智能的、深入的、有价值的信息，大数据的分析方法是决定最终信息是否有价值的决定性因素。发现数据DNA、重组数据DNA是人类不断认识、探索、实践大数据的持续过程。采用互联网+大数据打造一个先进实用高效稳定安全可靠的大数据平台，使用大数据实现建筑全生命周期管理，从城市、土地、拿地、规划、施工、住房、定价、营销、物业、维修、住户、金融、供应链等整个业务流程进行优化管理，具有极大的价值。公司的房地产、金融、文化、旅游、健康五大产业通过大数据融合起来，充分发挥已有数据的价值，构建土地、住房、住户等画像，对系统的数据采用大数据进行分析处理，提供精准的预测数据和智能决策参考，提供强大的BI、AI能力，全面提升企业效率和效益，创造更大的经济和社会效益，并提供一个开放的平台，建立行业标杆，为地产行业的大数据应用做出贡献。
二．建筑全生命周期管理和供应链大数据
采用大数据对建筑全生命周期管理 和建筑供应链进行优化管理，可以解决复杂的资源管理和调度问题，有效地提升住房的质量，提高效率和效益，显著节约成本，创造更大的价值。
2.1建筑全生命周期管理 即BLM（全称Building Lifecycle Management）
建筑全生命周期简单的说就是指从材料与构建生产、规划与设计、建造与运输、运行与维护直到拆除与处理（废弃、再循环和再利用等）的全循环过程。其分为四个阶段，即规划阶段、设计阶段、施工阶段、运营阶段。规划阶段主要用于现状建模、成本预算、阶段规划、场地分析、空间规划等；设计阶段主要用于对规划阶段设计方案进行论证，包括方案设计、工程分析、可持续性评估、规范验证等；施工阶段则主要起到与设计阶段三维协调的作用，包括场地使用规划、雇工系统设计、数字化加工、材料场地跟踪、三维控制和计划等；在运营阶段主要用于对施工阶段进行记录建模，具体包括制定维护计划、进行建筑系统分析、资产管理、空间管理/跟踪、灾害计划、住户管理、资金管理、能源管理、物业管理等。企业的信息化建设应该充分运用建筑全生命周期管理，打造高效率整体协同的房地产IT系统，从住房的整个生命周期供应链系统上进行优化管理，对由此产生的数据采用大数据进行分析处理，进行复杂的资源配置，提供精准的预测数据和智能决策参考，全面提升企业的效率和效益。
规划设计是在建筑项目定位的基础上，为使其功能、风格符合其定位，而对其进行比较具体的规划及总体上的设计。工程施工是建筑安装企业归集对工程成本核算的专用科目，是在建设工程设计文件的要求下，对建设工程进行改建、新建、扩建的活动。运营则包含建筑物的操作、维护、修理、改善、更新以及物业管理等过程。
一、设计过程的绿色建筑项目管理方法
绿色建筑设计单位在项目建设方确定好施工单位以及物管单位后，进入绿色建筑项目的实施阶段，其设计方案作为首要工作，作为具体实话绿色建筑项目的目标，需要纵观整体的综合目标，有别于传统工程项目，其在于资源消耗的平衡性上，生态系统的平衡与保护上，绿色环保等要求之上，还需要对于建筑的艺术性，使用者在于环境上的愉悦感，舒适感，以及健康性上提出要求。例如，自然雨水的收集再利用、自然光的导入、热能的散布利用等等，利用一定的可量化指标来达到绿色建筑生态目标的目的。
二、施工过程中的管理
作为项目绿色成形阶段，对于节能减排施工阶段在全生命周期中对于生态和谐起着重要的作用。在此阶段的管理目标主要体现在低浪费、低能耗以及低污染等方面。并且对于施工单位的绿色施工方案不定期的进行抽查，建立过程量的监督。与此同时，对于节约建筑资源的，提出绿色技术创新的建立奖惩制度，以此来优化施工方案，并且对切实有效的方案提出人员进行奖励。相对的，对于资源浪费的、污染环境的进行处罚，保证项目目标现阶段是顺利实施。
三、按图施工管理
严格按照项目工程绿色建筑的设计方案施工，要求施工方按图施工，在于资源的利用率，材料使用率，能源消耗降低上，加强管理，杜绝不必要的浪费，有效的在质量缺陷的出现率上降低，避免不必要的返工、拆除等情况的出现，施工现场的建筑垃圾在源头上进行控制。施工方法在施工的整个过程之中产生变更的严格执行审批手续，以环境无破坏，节约资源为前提，经过三方论证（建设，设计，施工）提出有效的、合理的建议后，方可实施。并且以绿色建筑生产为指导指标，要求施工方提交绿色建材、生产企业名录以及设备供应商等资料，以便建设单位参考。
四．绿色建筑过程中的数据记录管理
无论是何种研究，都离不开对其生产过程中数据的详细记录，在这里就需要强调管理的重要性，从设计到使用中每个阶段的收集和对比数据，以及分析都是非常有必要的。在借鉴国外发达国家的数据的前提下，做好对目前国内绿色建筑项目的数据记录。国内有关部门紧密合作，科学而整体的记录整个工程建筑从设计到使用的各项数据。建立具有中国特色的绿色建筑项目数据库。
五、对于数据的分析与评估，使各项标准清晰化管理
在这方面，国家应当适当给予一些资金以及政策扶持，用于对每个绿色建筑项目施工和使用过程中各项数据的分析、评测、对比、总结，从而使得各项标准更加清晰化、明确化。有利于稳定目前绿色建筑项目在市场中的价格，使其可以良性的可持续性发展。以此可见，在市场经济行为中，数据的分析与评估对整个过程有着极为重要的意义。
六、排放建筑垃圾的管理
建筑垃圾在项目绿色建筑的建设过程中是无法避免的，因此排放建筑垃圾的管理就是要尽最大可能的把建筑垃圾的产生降至最低，同时把对于环境的不良影响降至最低。相比于传统的垃圾处理方式来说，作为绿色建筑项目的垃圾处理，不能以掩埋为主，这对环境的危害是相当大的。应当采用垃圾分类处理的方法，同时对于施工单位鼓励其对可再利用的垃圾资源变废为宝，如果无法再次利用，也要采用目前较为新型的创新技术加以回收，例如反击式破碎机、DPF建筑垃圾破碎机等等。利用破碎机将这些建筑垃圾进行粉碎，然后除铁，再进行筛分，运送，到最后的轻物质处理，形成新的建筑垃圾骨料。通过对这些垃圾骨料的再生产，加工利用后成为新的再利用环保材料，在工程建设中重新投入使用，从而实现真正的建筑垃圾资源再利用。
七、验收在项目成果中的管理以及运营管理
绿色建筑项目主要是在节能这一项工程中进行重点专项验收，这有别于其他建筑项目验收的独立性，其原因在于绿色建筑项目在于对生态和谐发展的追求，最终成为自然生态系统的一个环节，这就决定了其验收特别需要在于外墙的分项节能工程，屋面分项的节能工程，门窗分项的节能分析工程，以及通风采暖等分项工程。综合、客观、全面、立体的专项验收工作，不仅要求项目在于节约资源、保护生态系统，更是对于项目的可持续发展有着循环经济的要求。
绿色建筑在建成之后，有很长的一段时间属于运营管理的范畴，其价值体现就更为明显了。运营管理大体可以体现出，能源系统管理、环境资源管理、项目垃圾处置管理、项目绿化环境管理等，这些管理的意义主要体现在将运营时间的最大可能放大，以此来达到最大的收益效果。
八、总结
全周期的管理在于绿色建筑中是一个动态的活动，管理目标与实际过程中的管理活动一定会在项目的寿命周期中出现偏差，因此，产生偏差之后，优质的管理模式能够第一时间找出产生原因，并且通过管理方法以及各种纠偏措施加以及时纠正。在建立有效的管理模式基础上，针对绿色建筑寿命周期内保证其稳定性，还需要特别建立以及完善其维护的措施。
采用大数据对各个目标在生命周期的各个阶段中，优化管理工作的各个环节，从设计、施工到营运全面进行科学管理，做到精细化营运，形成一个合理的管理方案为日后的运行顺畅作为基础，能更好的提高人类的生活环境，最终达到建筑宜居节能的崇高目标。
2.2建筑供应链大数据系统
住房施工修建用到大量的建筑材料，包括材料的采购、运输、储存、使用，这是一个供应链系统，需要全国一盘棋集中统一规划营运，采用大数据可以有效地管理这个系统。通过大数据智能分析用料，向上游厂家集中采购，降低材料价格，节约成本，减少浪费。大数据跟踪施工进度，决定材料的运输、储存，提高效率，达到最佳经济效果。
智慧供应链以人工智能为中枢大脑，针对平台在日常和特定期间的业务特点，综合考虑了不同材料在全渠道和各时段的需求预测及波动情况、住房的区域营销策略、物流设施的空间拓扑结构、材料库存的历史在架和周转情况等因素，构建了相应的数学模型，建立了智能补货、自动调拨和健康库存等优化管理模块，以优化库存资源分配、提高材料在各区域的周转率和在架率。以集货仓全国调拨为例，自动调拨算法在综合考虑各区域需求预测的前提下进行了有限库存的全国调拨和库存分配，平衡各区域的供给和需求，优化总体库存周转和在架率。
智慧供应链基于全渠道大数据，大量使用人工智能算法，结合住房规划分析，对建筑材料进行远期、中期、近期规划，并智能化诊断当前品类结构，优化品类资源配置，实现了材料自动划分、新品挖掘、老品淘汰等全生命周期智能化管理。同时，通过对大数据进行深入的分析和挖掘，得出多维度的价格弹性曲线。在实时场景中，结合博弈论、运筹优化、机器学习等智能算法进行动态最优定价，实现了多维业务指标的最优化。在施工过程中，通过最优定价取得了库存和单量的平衡。基于对住房画像的深入挖掘和偏好分析，实现了定价的个性化和区域化。
智慧供应链综合使用了机器学习、深度学习、时间序列等多维度算法，实现精准的材料预测，不仅支持了多颗粒度、多时间跨度的精准预测及分布预测，能够灵活快速的响应行业和商家的多种预测需求，有力的指导了行业和商家的运营策略，而且融合了多维度业务指标，综合考虑了供应链全链路特征，实现了计划的全链路一体化和最优化。真正实现了供应链的计划性和确定性，赋予供应链各模块强大的协同能力。
此外，供应链中台采用深度学习、文本挖掘、图像处理、以及自然语言处理等人工智能技术，对房地产平台和相关企业提供了智能化选地、科学修建、智能定价和智能营销的服务能力。
三．大数据在房地产的应用
大数据平台整合多家先进的数据源，通过建立先进的分析模型，对已知客观事实用先进的分析维度进行验证，对政策环境、城市、土地、定价、客户进行智能精准分析，同时对未知的市场及客群进行分析研究，达到最佳效益。平台以清晰易用的可视化交互方式，将复杂的大数据技术聚焦在房地产行业的实际业务当中，从『动态监测』『信息查询』『数据分析』三种不同层级，满足公司员工各业务端口的工作需求。
3.1宏观政策研究
运用大数据资源和决策分析方法构建研究模型，全方位辅助开发企业投资决策、市场监测以及房地产开发企业日常工作。多维度切分城市空间单元——都市圈、城市/区县、板块/街道、网格/自定义，不同角度绘制城市画像，实现数据空间化；多类别数据资源整合——购房者、地产、资源、经济、规划大数据，深度挖掘空间数据价值；多方位研究搭建——都市圈研究、城市进入研究、板块价值研究、地块价值研究模型；多功能应用平台——市场监测平台、数据分析平台、模型研究平台、报告生成平台。
此次搭建大数据平台的初衷，就是希望能够颠覆传统开发商所采用的分析方式与路径，通过运用先进的分析模型，对大量复杂抽象的数据进行整合分析，从而反映本质事实，揭示内部规律，辅助各项决策。
3.2基于城市客群洞察，赋能新盘营销拓客布局
更深层直观的洞察人群
通过大数据的研究分析，明确整个城市的潜客分布和潜客特征，帮助完成相应的应用，包括活动应用、渠道应用、线下推广应用等，最终形成营销拓客的行动计划。
基于城市指标数据，推进城市进入策略研究
基于城市指标数据来做城市进入策略的研究和探索，选择多个城市指标，包括经济、产业、人口等。并结合现在城市房价的归类，通过房价回归和城市聚类输出我们要进入的目标城市，同时根据大数据的分析赋予每个目标城市的优先级属性和资源匹配度，最终有效指导在城市进入策略方面的实战。
基于全域城市数据，辅助投资拿地决策
在投资拿地决策端也做了相应的应用探索，比如，通过研究城市区块内人口、产业、新房、二手房、配套等数据，帮助前端投发人员通过鼠标点击就可以明确区块内的标的是否可以进入，以及以什么样的产品进入，定位给什么类型的潜客，未来要做什么样的商业配套等。
完善商业项目的客群认知和竞争识别
在商业板块也做很多尝试且比较成熟，比如洞察客群线上黏性通道，协助指定线上推广策略，明确客群地理位置，赋能线下推广活动的精准性，也会针对周期性的数据做客户分群，帮助商业项目一线的企划人员更好地完成客户分层运营，规避风险。
（1）两张简表分别统计显示城市咨询认筹情况和城市项目情况，把目前所有项目日常最关注的指标清晰地展现出来；
（2）以项目为维度通过饼图直观地显示了项目金额占比情况，一目了解地了解到哪些项目创收金额较高；
（3）通过柱状图展示项目认购合同分析情况，显示出认购金额、创收金额、合同金额。
（4）点击简表城市项目认筹情况具体的城市，可联动其他图表，看到具体某一城市的项目情况，通过条件的筛选及动态联动，让项目分析简单明了。
3.3房地产大数据分析方法
3.3.1场景模型
1基于业务场景的模型建立与沉淀
对地产行业来说，数据应用产品在场景上的缺失还比较严重。尤其是前端营销应用产品方面，目前多数产品都是通过一套标准产品满足大多数的营销目的。未来建立基于细化场景的应用产品和应用模型是整个行业数据应用的关键。
2从“画像”到“触达”，满足地产行业需求
低频交易的典型特征，决定房产交易更依赖在潜客认知的基础上延伸至潜客触达。未来完善基于地产行业特征的触达通道体系将成为营销利器。
3低频交易下的客户持续运营
低频交易下，客户持续运营成为地产行业的通用难题，过往做了一些基础的底层工作，包括触点的改造和梳理、平台打通、权益统一等等，未来我们将与优秀服务商合作，解决第三方数据补齐、数据处理能力提升和客户触达体系建立三个方面的问题。
4大数据概念下的误区和困扰
大数据热导致地产行业倍受“伪大数据”概念的困扰，也借此提出理性看待大数据和大数据应用，尤其注重数据饱和度对低频交易特征的房产交易起到至关重要的作用。
3.3.2要素分析
城市级大数据 ——
包括人口、经济、交通、基础设施等；
● 人口移动数据 ——
包括全市地铁通勤、专车及出租车通勤等；
● 通过线上线下实时监测所获得的活跃购房客户特征数据 ——
包括人口消费习惯、人口行为特征等。
核密度分析
在进行如人口密度、基础设施密度、客流密度来源等要素密度进行分析时，大数据平台采用了核密度分析模型。该模型通过采集待分析标的要素的信息，设置分析半径范围，通过算法计算要素在其周围邻域中的密度。
▲ 模型分析示例：上海九大商圈客流来源
空间插值分析
在对某要素分布空间范围进行分析及预测时，大数据平台采用了空间插值模型。首先假设空间位置上接近的对象具有相似的特征，于是通过自然邻域插值法，找到距查询点最近的输入样本子集，并基于区域大小按比例对这些样本应用权重进行插值，进而对区域所有位置进行预测。
▲ 模型分析实例:上海成交新房按单价及总价的不同空间分布
OD/PA分析模型
在分析如城市或区域人口通勤方向及发展趋势时，则采用了OD/PA分析模型。该模型以千万级的智能移动设备大数据为基础，对全市人口出行进行拟合计算，可以了解要素流动情况。
▲ 模型分析实例：市民出行OD图（左）、现居地与搜索房屋距离PA图（右）
力导向布局分析模型
在研究要素关系网络、城市群相互联系时，大数据平台的研发人员采用力导向布局分析模型。
该模型将每个要素表现为一个点，要素间的联系表现为边，通过计算各要素间的关联度，绘制出拓扑关系网络图，表现要素间的聚集度和紧密度。
▲ 力导向布局模型示意图（左）；模型分析实例（右）：长三角城市群联系度力导向布局图
交通断面流量分析模型
通过对轨道交通站点客流出行方向和数量的分析，从而对断面客流量进行评估和趋势判断。
▲ 交通断面流量模型分析实例：早高峰地铁客流量
空间计量模型
城市存在空间聚集效应，要素将受到本空间单元和临近空间单元的共同影响。因此在对某特定研究对象进行要素影响分析时，平台研发人员运用空间计量模型使结果趋于客观精确。
板块价值分析模型
在进行目标板块价值评估模块设计时，将传统的PIE模型与板块评价体系所涉及的多维度数据进行基于计量经济学模型的系统化整合，将他们分为6个大类和19项重点指标，构建板块价值计量模型。并以此为基础，通过数据预处理、回归及相关性分析后，对被解释变量进行评估及预测。
自定义空间分析单元
传统分析方法往往以板块和地块作为分析单元，但在日常工作中，待分析对象则需要根据研究目的进行调整。因此大数据平台创建了自定义分析单元，以此拓展分析方向，发散思维，提高决策判断的准确性。如对商业物业的选址进行决策时，会将现有商圈的势力范围作为分析单元进行研究。
▲ 以大型商圈为研究对象的势力范围研究
如对地铁上盖物业产品类型进行选择决策时，会对各地铁站早高峰客流进出占比进行研究，了解地铁站产业或居住属性特征。
▲进出比<0.8为产业区型地铁站
以个体为单位的研究尺度
在对特定人群进行更细化的研究时，传统路径是采用客户调研的方法，但样本基数及回答真实性都会影响研究结果。大数据平台则可以根据住户的线上线下行为，利用机器学习算法，对其个人属性、职住地点、兴趣爱好等进行判断，进行多角度画像。
▲ 在沪购房者各省来源情况
客户
导向
只有了解客户、接近客户，才能提供让客户满意的产品与服务。
值得一提的是，此次将智能设备采集的数据与优质合作方提供的资源进行整合，以大数据机器学习算法对全市范围内的典型活跃客户及项目到访客户数据进行深加工，对细分市场上不同消费群体的特征及分布进行了解与研究。
▲ 潜客职住热力图
此外对采集到的原始标签数据进行补全计算或赋予布尔值、类型值。再加入房地产行业客户分析逻辑，在家庭结构、置业需求、购房能力、还贷能力方面，将原始标签合并成新的标签进行计算，最后得到客户的多维度画像、存储和输出。
▲ 客户画像输出流程图
正因为有了清晰的客户画像，才能更好的进行产品及项目的设计定位，进而为客户提供满足他们真正需求的更好的产品与服务。
▲ 客户特征图
分析
案例
上海大数据研究案例
据上海负责市场研究的工作人员介绍，目前公司在拿地前都会借助该大数据平台，综合运用各类分析模型，多维度建立从宏观到微观的分析体系，对标的地块所具有的特征及变化趋势进行研究，进而支持初步判断。
研究示例 ：上海某新城板块土地
一个具有成长型、潜力型人口特征的板块
▲ 研究版块人口学历及年龄结构
一个现代制造业和公共服务业双头并重的板块
▲ 研究版块就业行业人数及企业分布
一个职住关系处于高度分离的板块
▲ 研究版块人口职住情况
一个就业活力越来越高的板块
▲ 研究版块主要地铁站工作日早高峰客流量差值
一个承接大量外区导入就业人口的板块
▲ 研究版块职住通勤分布
根据对该板块人口、产业、经济等数据的分析，研究团队可以得出对板块的一个初步判断：
该板块人口年龄轻、活力强，岗位供给上不仅有大量的产业工作，也有高端的公共服务和第三产业。更重要的是，其人口的聚集速度较岗位的聚集速度更快，整个地区正在高速发展中转型。
有了初步判断后，研究团队可继续通过『板块价值类比』『未来发展潜能』及『潜在置业人口描摹』等分析模型，进一步辅助投资决策及产品定位。
一套住宅的价格，如果仅有小区，没有所在楼幢、楼层、朝向、户型等等
黄院长预判下半年市场量价回调，销售面积回调两成左右，新开工同比下降；具备区位和产业优势的三四线城市未来持续向好，但部分库存较高的城市长期仍将承压。
黄院长分析了企业科学布局，扩大区域深耕，借助区域优势，打造特色地产，加强收并购多元化的战略发展；同时解构了5大超级城市群的布局策略。
2、重大·刘贵文：我国城镇化格局及对房地产市场的影响
特邀嘉宾重庆大学建设管理与房地产学院院长刘贵文做主题为“我国城镇化格局及对房地产市场的影响”的演讲，为企业剖析城镇化与房地产市场的关系。
刘院长点出城市化进程仍然能支撑房地产业较长的发展，但是需要同时重视增量与存量市场。从全球各城市发展预测，中国城市发展将从扩展阶段发展到更新阶段，城市更新将是未来房地产市场的蓝海。
刘院长解读了我国的城镇化以城市群的模式进行，城市圈的竞争力会对房地产的价值有明显影响。从底特律的城市发展过程中分析了城市竞争力下降的原因， “聪明脑袋”——大学生的增长率才是预测城市发展趋势，人才汇聚是中心城市的发展动力。特色小镇不仅需要靠近中心城市，而且要有好的产业支撑，孤立存在的小镇没有任何意义。
3、中指院·葛海峰：中指城市地图新品发布
中国指数研究院副总裁葛海峰先生通过“中指城市地图”的新产品发布，向大家展示大数据在城市进入、板块研究、项目规划等方面的应用成果，通过可视化大数据帮助企业合理布局规避风险，高效做出科学投资。
中指城市地图以可视化平台为载体，运用大数据资源和决策分析方法构建研究模型，全方位辅助开发企业投资决策、市场监测以及房地产开发企业日常工作。多维度切分城市空间单元——都市圈、城市/区县、板块/街道、网格/自定义，不同角度绘制城市画像，实现数据空间化；多类别数据资源整合——购房者、地产、资源、经济、规划大数据，深度挖掘空间数据价值；多方位研究搭建——都市圈研究、城市进入研究、板块价值研究、地块价值研究模型；多功能应用平台——市场监测平台、数据分析平台、模型研究平台、报告生成平台。
一、大数据有助于精确房地产行业市场定位
成功的品牌离不开精准的市场定位，可以这样说，一个成功的市场定位，能够使一个企业的品牌加倍快速成长，而基于大数据的市场数据分析和调研是企业进行品牌定位的第一步。房地产行业企业要想在无硝烟的市场中分得一杯羹，需要架构大数据战略，拓宽房地产行业调研数据的广度和深度，从大数据中了解房地产行业市场构成、细分市场特征、消费者需求和竞争者状况等众多因素，在科学系统的信息数据收集、管理、分析的基础上，提出更好的解决问题的方案和建议，保证企业品牌市场定位独具个性化，提高企业品牌市场定位的行业接受度。
企业想进入或开拓某一区域房地产行业市场，首先要进行项目评估和可行性分析，只有通过项目评估和可行性分析才能最终决定是否适合进入或者开拓这块市场。如果适合，那么这个区域人口是多少？消费水平怎么样？客户的消费习惯是什么？市场对产品的认知度怎么样？当前的市场供需情况怎么样？公众的消费喜好是什么等等，这些问题背后包含的海量信息构成了房地产行业市场调研的大数据，对这些大数据的分析就是我们的市场定位过程。
企业开拓新市场，需要动用巨大的人力、物力和精力，如果市场定位不精准或者出现偏差，其给投资商和企业自身带来后期损失是巨大甚至有时是毁灭性的，由此看出市场定位对房地产行业市场开拓的重要性。只有定位准确乃至精确，企业才能构建出满足市场需求地产品，使自己在竞争中立于不败之地。但是，要想做到这一点，就必须有足够量的信息数据来供房地产行业研究人员分析和判断。在传统情况下，分析数据的收集主要来自于统计年鉴、行业管理部门数据、相关行业报告、行业专家意见及属地市场调查等，这些数据多存在样本量不足，时间滞后和准确度低等缺陷，研究人员能够获得的信息量非常有限，使准确的市场定位存在着数据瓶颈。随着大数据时代的来临，借助数据挖掘和信息采集技术不仅能给研究人员提供足够的样本量和数据信息，还能够建立基于大数据数学模型对未来市场进行预测。当然，依靠传统的人工数据收集和统计显然难以满足大数据环境下的数据需求，这就需要依靠相关数据公司(如深圳乐思软件)自动化数据采集工具的帮助。
二、大数据成为房地产行业市场营销的利器
今天，从搜索引擎、社交网络的普及到人手一机的智能移动设备，互联网上的信息总量正以极快的速度不断暴涨。每天在Facebook、Twitter、微博、微信、论坛、新闻评论、电商平台上分享各种文本、照片、视频、音频、数据等信息高达的几百亿甚至几千亿条，这些信息涵盖着、商家信息、个人信息、行业资讯、产品使用体验、商品浏览记录、商品成交记录、产品价格动态等等海量信息。这些数据通过聚类可以形成房地产行业大数据，其背后隐藏的是房地产行业的市场需求、竞争情报，闪现着巨大的财富价值。
在房地产行业市场营销工作中，无论是产品、渠道、价格还是顾客，可以说每一项工作都与大数据的采集和分析息息相关，而以下两个方面又是房地产行业市场营销工作中的重中之重。一是通过获取数据并加以统计分析来充分了解市场信息，掌握竞争者的商情和动态，知晓产品在竞争群中所处的市场地位，来达到“知彼知己，百战不殆”的目的；二是企业通过积累和挖掘房地产行业消费者档案数据，有助于分析顾客的消费行为和价值趣向，便于更好地为消费者服务和发展忠诚顾客。
以房地产行业在对顾客的消费行为和趣向分析方面为例，如果企业平时善于积累、收集和整理消费者的消费行为方面的信息数据，如：消费者购买产品的花费、选择的产品渠道、偏好产品的类型、产品使用周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。如果企业收集到了这些数据，建立消费者大数据库，便可通过统计和分析来掌握消费者的消费行为、兴趣偏好和产品的市场口碑现状，再根据这些总结出来的行为、兴趣爱好和产品口碑现状制定有针对性的营销方案和营销战略，投消费者所好，那么其带来的营销效应是可想而知的。因此，可以说大数据中蕴含着出奇制胜的力量，如果企业管理者善于在市场营销加以运用，将成为房地产行业市场竞争中立于不败之地的利器。
三、大数据支撑房地产行业收益管理
收益管理作为实现收益最大化的一门理论学科，近年来受到房地产行业人士的普遍关注和推广运用。收益管理意在把合适的产品或服务，在合适的时间，以合适的价格，通过合适的销售渠道，出售给合适的顾客，最终实现企业收益最大化目标。要达到收益管理的目标，需求预测、细分市场和敏感度分析是此项工作的三个重要环节，而这三个的环节推进的基础就是大数据。
需求预测是通过对建构的大数据统计与分析，采取科学的预测方法，通过建立数学模型，使企业管理者掌握和了解房地产行业潜在的市场需求，未来一段时间每个细分市场的产品销售量和产品价格走势等，从而使企业能够通过价格的杠杆来调节市场的供需平衡，并针对不同的细分市场来实行动态定价和差别定价。需求预测的好处在于可提高企业管理者对房地产行业市场判断的前瞻性，并在不同的市场波动周期以合适的产品和价格投放市场，获得潜在的收益。细分市场为企业预测销售量和实行差别定价提供了条件，其科学性体现在通过房地产行业市场需求预测来制定和更新价格，最大化各个细分市场的收益。敏感度分析是通过需求价格弹性分析技术，对不同细分市场的价格进行优化，最大限度地挖掘市场潜在的收入。
大数据时代的来临，为企业收益管理工作的开展提供了更加广阔的空间。需求预测、细分市场和敏感度分析对数据需求量很大，而传统的数据分析大多是采集的是企业自身的历史数据来进行预测和分析，容易忽视整个房地产行业信息数据，因此难免使预测结果存在偏差。企业在实施收益管理过程中如果能在自有数据的基础上，依靠一些自动化信息采集软件来收集更多的房地产行业数据，了解更多的房地产行业市场信息，这将会对制订准确的收益策略，盈得更高的收益起到推进作用。
四、大数据创新房地产行业需求开发
随着论坛、博客、微博、微信、电商平台、点评网等媒介在PC端和移动端的创新和发展，公众分享信息变得更加便捷自由，而公众分享信息的主动性促使了“网络评论”这一新型舆论形式的发展。微博、微信、点评网、评论版上成千上亿的网络评论形成了交互性大数据，其中蕴藏了巨大的房地产行业需求开发价值，值得企业管理者重视。
网络评论，最早源自于互联网论坛，是供网友闲暇之余相互交流的网络社交平台。在微博、微信、论坛、评论版等平台随处可见网友使用某款产品优点点评、缺点的吐槽、功能需求点评、质量好坏与否点评、外形美观度点评、款式样式点评等信息，这些都构成了产品需求大数据。同时，消费者对企业服务及产品简单表扬与评批演变得更加的客观真实，消费者的评价内容也更趋于专业化和理性化，发布的渠道也更加广泛。作为房地产行业企业，如果能对网上房地产行业的评论数据进行收集，建立网评大数据库，然后再利用分词、聚类、情感分析了解消费者的消费行为、价值趣向、评论中体现的新消费需求和企业产品质量问题，以此来改进和创新产品，量化产品价值，制订合理的价格及提高服务质量，从中获取更大的收益。
大数据，并不是一个神秘的字眼，只要房地产行业企业平时善于积累和运用自动化工具收集、挖掘、统计和分析这些数据，为我所用，都会有效地帮助自己提高市场竞争力和收益能力，盈得良好的效益。
，链家研究院对外发布了最新地产大数据产品——Real Data。据介绍，该平台将基于链家多年积累的大量的住户行为数据、交易数据和房产属性数据等，提供包括对宏观地产市场的监控与分析预测、针对具体地块和楼盘项目的价值分析、销售管理、售后资产管理在内的四大服务，从而为企业提供定制化服务，为精准营销提供策略指导。提供涵盖三维移动案场、VR虚拟现实、AR增强现实以及定制微楼书的全平台3D互动展示解决方案。Ai face nlp voice
四．房地产、金融、文化、旅游、健康大数据融合
大数据平台管理整个住房的决策、拿地、定价和供应链系统，还包括金融、旅游、文化、健康等服务，充分运用现有的地、房、人等数据资源，构建住房、住户等用户画像，实现精准营销推荐，促进住房、金融、文化、旅游、健康产品的销量，创造更大的效益。
金融方面，通过建立大数据风控模型，降低金融风险，提升资金利用率，带来更大的价值，通过对用户经济特点和兴趣爱好的分析，推荐合适的金融产品。
文化旅游方面，通过用户画像对用户兴趣爱好和文化旅游资源画像的分析，推荐合适的文化旅游产品，促进文化旅游如海南岛旅游的繁荣。
健康方面，通过用户画像对用户健康特点、兴趣爱好和健康资源画像的分析，推荐合适的文化旅游产品，带来更多的业绩。
同时，对文化、旅游、金融、健康的用户可以采用大数据技术，精准有效地推销住房，实现公司整个产业的良好互动和促进，形成强有力的产业支撑，充分发挥出公司业务的效益，打造综合优势提升竞争力。
五．大数据技术方案
5.1 大数据平台
使用CDH5.13搭建hadoop完整环境，安装hive、hbase、kylin、spark，实现高可用运行的数据仓库。业务数据定时通过sqoop从mysql、oracle获取数据写入hive，需要实时采集的数据通过kafka实时导入数据仓库。调度任务采用spark读取hive，整合成宽表，再按查询统计条件生成cube存入kylin，支持百亿级数据秒级快速查询。
在数据仓库基础上建立用户画像、城市画像、土地画像、旅游画像等画像，根据LR逻辑回归、GBDT梯度提升决策树等算法进行模型训练，为业务系统提供推荐和决策服务。采用TENSORFLOW实现人工智能训练，使用CNN、RNN、LSTM、RL等算法进行文字、语音、图像识别，为业务系统提供人工智能服务。
数据开发平台包括数据开发门户、任务编排管理等功能，提供数据开发服务。数据产品门户包括报表门户、用户画像、推荐平台、多维自助分析系统、全网分析等功能，提供业务支撑服务。
采用spark提供rest服务，前端业务系统提供查询参数，通过接口访问kylin，接口返回查询结果。采用tableau实现BI，直接访问kylin，可以快速自由按照各种条件查询结果并图形化显示和生成报表。
现在的数据库没有统一规划，冗余重复较多，需要进行分析规划，找出元数据、主数据、数据的业务使用情况，然后确定标准和规范，确定有效数据及格式，然后进行统一提取，转换清洗、同步抽取。
目前已有的业务系统如电商、会员、ERP、大客户等系统的数据需要ETL抽取到中台数据库，中台数据库可采用MySQL， 数据库的数据实时可靠地同步道中台数据库，提供一个坚实的基石。中台有系统所有的数据，可以充分共享，降低冗余，比如会员数据，各个系统都可以使用，不用再同步存储多份。再通过ETL把中台数据同步到hadoop、hbase、hive数据仓库，生成汇总表、宽表、明细表等数据，为平台提供数据挖掘服务提供支撑，可以使用spark机器学习、tensorflow深度学习来提供智能预测、搜索和推荐，对用户进行画像分群，精准营销，促进销量，提高果品的生产、采购、存储、物流、门店配送的精准度和效率。阿里的数据同步软件种类丰富，功能强大，其DATAX可以在mysql、oracle、hive数据库之间offline同步数据， yugong愚公软件可以把oracle实时ETL同步到mysql； otter 支持从mysql同步到远程和近程Mysql/oracle。基于HA高可用的cannal可以快速把数据从mysql的binlog通过kafka、flume实时抽取到hive，再通过合并计算生成宽表，建立一个实时的大数据仓库，为所有业务系统提供OLAP近实时快速查询、BI和数据挖掘服务。Cannal通过mysql的log获取数据，，非侵入，对业务系统没有任何影响。大数据系统完成现有业务系统的OLAP查询和BI功能，并提供更多的服务。
在hive中创建的表能直接创建保存到hbase中， hive中的表插入数据会同步更新到hbase对应的表中，反之，在hbase中的表也同步支持hive读写。Hive、Hbase建立索引提高速度。采用spark sql读取hbase的ODS表，统计计算生成DWD、DWS、ADS数据表，存入hbase，phoniex可以对表快速读取hbase提供查询和报表。对hbase表建立对应的hive外部表，支持tableau自助查询。
采用activenamenode+standby namenode方式实现hdaoop集群高可用。整个系统从采集到存储、计算全部采用zookeeper集群高可用技术完成，保证大数据系统稳定运行，提供一个坚实的底座。大数据系统99%是开源软件，低成本高效益，现在已准备好了所用到的开源软件。
大数据系统软件使用CDH版本5.13，这是目前最新最稳定的版本，功能强大，管理使用维护方便。
采用spark可以快速查询，后期数据量到一定规模后，使用kylin可以提供灵活强大的大数据BI分析，实时获取最新数据，如新开门店的经营额及销量等，使用tableau可提供大数据自助查询并支持可视化展示。
先同步抽取会员数据,购买服务器建立hadoop大数据仓库，抽取数据到仓库，开发精准营销服务推荐功能，支持营销业务，创造实用价值。 实时同步存储到hadoop大数据仓库，采用spark高效读取，为营销系统提供服务。
然后对其他业务数据进行类似的处理，导入大数据仓库，采用大数据的机器学习和深度学习，提供预测、分析、挖掘、推荐、BI等功能，发挥数据的能量。
或购买VMWARE或浪潮云建立企业云。
每小时定时获取并生成DWD、DWS、ADS数据，在上个任务完成后启动下一个任务。
采用ElasticSearch(以下简称ES)实现搜索，这是一个基于Lucene构建的开源(open-source)，分布式(distributed)，RESTful，实时(real-time)的搜索与分析(analytics)引擎。它可以让你在浏览数据时具备非常快的速度和优秀的可扩展性。它用于全文索引、结构化数据索引、数据分析以及三者的结合。它可以运行在笔记本上，或者扩展至数百台的服务器节点上来处理PB级的数据。 ES建立在Lucene的基础之上，隐蔽其复杂性来构造一个简洁易用的RESTful风格的全文搜索引擎。
大数据平台服务器需要采用NTP时间同步，具有一致的时间，保障系统正常运行。企业IT平台采用混合云部署，性价比最高，符合公司实际情况。
用户画像
用户画像指根据用户的特性和行为数据建立标签，准确描述用户的特点，支持对用户的精准营销等活动。用户画像，即用户信息标签化，就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后，完美地抽象出一个用户的商业全貌作是企业应用大数据技术的基本方式。用户画像为企业提供了足够的信息基础，能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。
大数据推荐
技术将发挥重大作用，以电商网站的某种页面的个性化推荐为例，考虑到特征的可解释性、易扩展和模型的计算性能，很多线上推荐系统采用LR（逻辑回归）模型训练，这里也以LR模型举例。很多推荐场景都会用到基于商品的协同过滤，而基于商品协同过滤的核心是一个商品相关性矩阵W，假设有n个商品，那么W就是一个n * n的矩阵，矩阵的元素wij代表商品Ii和Ij之间的相关系数。而根据住户访问和购买商品的行为特征，可以把住户表示成一个n维的特征向量U=[ i1, i2, ..., in ]。于是U*W可以看成住户对每个商品的感兴趣程度V=[ v1, v2, ..., vn ]，这里v1即是住户对商品I1的感兴趣程度，v1=i1*w11 + i2*w12 + in*w1n。如果把相关系数w11, w12, ..., w1n 看成要求的变量，那么就可以用LR模型，代入训练集住户的行为向量U，进行求解。这样一个初步的LR模型就训练出来了，效果和基于商品的协同过滤类似。
这时只用到了住户的行为特征部分，而人口属性、网购偏好、内容偏好、消费能力和环境特征等其他上下文还没有利用起来。把以上特征加入到LR模型，同时再加上目标商品自身的属性，如文本标签、所属类目、销量等数据，如下图所示，进一步优化训练原来的LR模型。从而最大程度利用已经提取的住户画像数据，做到更精准的个性化推荐。
5.2大数据团队建设
“平凡的团队，不平凡的业绩”，为实现这个先进的大数据平台，需要组建由精兵强将组成的一支团结拼搏能打硬仗胜仗的队伍，大家齐心合力完成这一光荣伟大的使命。
大数据团队可分为5个组，分别是平台组、BI组、AI组、测试组、安全组。平台组的主要任务是搭建平台，抽取数据；BI组的主要任务是完成业务查询BI工作；AI组的主要任务是完成数据挖掘，提供智能推荐和预测等服务；测试组主要任务是测试各功能模块，确保质量；安全组的主要任务是提供系统运维，保障平台安全可靠7*24运行。
“千里之行，始于足下”，大数据平台是一个复杂的系统工程，需要根据业务的轻重缓急综合考虑，循序渐进地打造大数据平台，边建设边使用，逐步完善，集思广益、群策群力做到精益求精尽善尽美。
六．总结与展望
总之，采用先进的大数据 技术打造一个大数据平台科学管理房地产业务是势在必行，前景价值巨大。这是一个业界领先的科学的房地产大数据方案，可以对住房进行全生命周期管理，从宏观政策、城市、土地、住房施工定价到住户进行统一优化管理，综合发挥公司房地产、金融、文化、旅游、健康的优势，采用大数据、机器学习、人工智能技术进行精准营运和营销，在同等的条件下创造更大的价值，节约成本，显著提升效率和效益，为公司的快速发展插上腾飞的翅膀，成为行业的领头羊。
未来还可以采用庭院住房、预先装修、人工智能住房、区块链技术等先进理念打造更棒的现代住房，充分发挥大数据平台的威力，房地产的效率则会成倍数提高。我们一定要把握这个千载难逢的大好时机，放手拼搏，开创房地产事业的明天！
长风破浪会有时，直挂云帆济沧海！
