大数据和hadoop如何应用企业计算中

Hadoop要想走出POC(概念证明)阶段,数据治理是其缺乏的主要因素,数据治理对大数据,尤其是面临严格监管的金融公司来说,是至关重要的。

去年12月,融资一亿美元之后,Hadoop平台发布商Hortonworks近日宣布,与客户Aetna、Merck、Target和技术合作伙伴SAS展开合作,开展数据治理项目。最终的目的是提供更高标准的Hadoop数据管理,把Hadoop更深入地融入到企业计算中。

Hadoop要想走出POC(概念证明)阶段,数据治理是其缺乏的主要因素,数据治理对大数据,尤其是面临严格监管的金融公司来说,是至关重要的。

Hortonworks总监Andrew Ahn表示,公司和终端用户合作,创建灵活的规则引擎,使数据流能够符合规定。该项目开发的软件包括Apache Falcon生命周期管理、Apache Ranger安全框架和新的政策规则引擎,比如保存相关元数据的审计数据商店。

Ahn熟悉金融大数据的进出规则。他以前就职于纽约证券交易所和太平洋交易所,从事应用程序开发工作。他说,那里很多大数据工作都是由“监护”的。

他表示:“我们在治理和大数据之间有严重的问题。”他认为公司需要符合美国证券交易委员会的要求。大型企业在部署Hadoop时也面临类似的挑战。

美国证券交易委员会和其他管理机构一样,要求公司保存交易数据的历史记录。虽然Falcon可以设定一些系统的政策,到很多公司还是需要更高级的政策处理流程。因此,就有了此次新的项目。

Hortonworks预计,软件有望在本季度开始发行。该计划还需要提交正是的提案,以成为Apache软件基金会的正式项目。

强力推荐阅读文章

年薪40+W的大数据开发【教程】,都在这儿!

大数据零基础快速入门教程

Java基础教程

web前端开发基础教程

大数据工程师必须了解的七大概念

云计算和大数据未来五大趋势

如何快速建立自己的大数据知识体系

猜你喜欢

转载自blog.csdn.net/yuyuy0145/article/details/92204684