大数据时代的IT架构设计

和云计算一样,大数据也一直是个很热的话题,尤其是在BAT这样的海量数据公司,一定离不开大数据。大数据目前也成为了一个领域,数据挖掘、数据分析和数据管理等等。

说到大数据,hadoop是必然要谈的话题,其优越、稳定的分布式方案,已经被大多数大数据业务的公司采用,有电商、有云商和电信公司。从某种意义上说,hadoop技术已经成为大数据的一种标识。

记得2011-2013在给移动做云平台时,用户的访问日志数据和应用的log数据就是用hadoop采集、分析、处理和管理的,这已经是在2012年项目二期快要发布的时候引入的解决方案,2011年做原型的时候,因为都是内部用户测试在用,日志还紧紧是直接从log文件里去读取;到后来形成集群后,需要采集集群上所有的日志,log采集和读取形成瓶颈,渐渐的变成了项目的鸡肋,所以引入hadoop来采集日志、并且进行分析处理后,进行持久化入库,供业务层去做日志展示和日志分析。

互联网在极速发展,带来网路流量也是空前巨大的,在这种趋势下,hadoop技术应运而生,很好的解决了海量数据的分析和存储问题。全球用户量大的网站,Baidutaobaofacebook,依靠hadoop技术,很好的处理了大量用户带来的海量数据问题。

这本书写的还算可以,写的还算通俗易懂,理论性比较强,不过挺适合我这种初学者来好好读一翻的。

猜你喜欢

转载自mark-5528.iteye.com/blog/2078814