大数据技术介绍(一)

早在上世纪八十年代,著名未来学家托夫勒在所著的《第三次浪潮》中提出了“大数据”的概念。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”开始成为互联网技术行业中的热门词汇。在中国,是从2012开始,大数据的时代才真正大面积的开始流行,为人们所知的。


在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴


虽然大数据是最近十年才出现的一个词汇,但它的本质早已为人们所知,而且几千年以来,人们都在利用它为自己服务。

大数据的本质就是数据、信息、情报,只不过随着历史发展,科技进步,人们在利用它的时候,采取的手段和方法在不断进化,不断完善。而且随着时代变迁和其内涵的外延以及处理手段的日益技术化、科学化,人们对它的称谓也不断改变。

第一章 从远古到当代人们的数据观

远在我国的春秋时期,百世兵家之师就提出了“知己知彼,百战不殆”。什么意思呢?就是要清醒的认识自己的情况,准确地摸清敌人的情况,就能打胜仗。要了解哪些情况呢? 肯定是要了解军队的情况,国家的情况,民众的情况。尤其是军队的情况,包括有多少人马,步兵多少,战车多少,粮草如何,将帅能力如何,士兵士气如何,等等。了解了这些情况后,更重要的是要加以分析,分析完了后作出判断,然后按照判断做出部署,然后就是按照部署好的军力去打击对方,将对方击败。这不就是数据收集、数据整理和数据分析的套路嘛。

大家都知道诸葛孔明未出茅庐而有三分天下的断言。他是神仙吗?显然不是。他何以知之?其实他是利用数据分析的套路得到的,只是在当时那个时代,消息闭塞,也没有像样的分析技术和科学的分析方法,得到相关数据信息虽有可能,但能够对得到的信息进行分析判断就是个人能力和眼界的问题了。诸葛亮小时候从山东沂南县就去投奔他的叔父了,他叔父是豫章太守,也就是现在的南昌市委书记和市长。家里藏书肯定多,全国各地官僚情况信息和当时各地的形势变化情况的信息应该都能搞到,诸葛先生是个喜欢读书的人,又喜欢纠结一伙人没事就谈论天下大势,久而久之,能不对全国情况有个了解?北有曹操强权,已经很稳固了。东南有孙权势力,而且历经三代,也很巩固了。而荆襄九郡的主人刘表和益州的主人刘璋,都是没有能力的官宦之家,在天下巨变的时代,他们是很难守得住地盘的,如果这时候有强人能够出现,还是很可能把这些地方收归囊中,独立门户,而与北方曹操,东南孙权形成三足鼎立之势的。所以诸葛亮有信息渠道,有分析判断的能力,即使没有现代的分析技术,用他聪明的大脑,睿智的智商,扩开的眼界,做出三分天下的预言,也是很自然的事情。但归根结底,也是走的数据收集、数据整理和数据分析的套路。

大家都知道我们的徐向前元帅和粟裕将军打仗都很有一套,败仗很少。他们打仗对情报的收集和分析可不是一般泛泛的做法,据说他们对敌我双方了解都很深入,有多少支部队,每支部队有多少士兵,多少火炮,多少重机枪,多少轻机枪,多少步枪,等等,都深入了解,然后按照分析,进行排兵布阵,这样的打法肯定能胜利啊。

再举个特别突出的例子,是林彪元帅运用数据分析迅速取得了战役胜利。辽沈战役期间,东北野战军以雷霆之势攻克锦州后,迅速挥师北上与赶来增援的廖耀湘几十万人马的兵团在辽西碰面,一时间双方形成了混战局面。按照林彪的一贯要求,所属各纵队及师团每天都必须上报当日的战况和缴获情况。在一天深夜,值班参谋正宣读某师上报的数据,林彪猛然叫停,问道:“刚才念的在胡家窝棚那场战斗的缴获,你们听到了吗?”林彪见无人出声,便连问了三句:为什么那里缴获的短枪与长枪的比例比其他战斗高?为什么那里缴获和击毁的小车与大车的比例比其他战斗高?为什么在那里俘虏和击毙的军官与士兵的比例比其他战斗高?人们还没来得及思索和回答,林彪就指着地图上的那个点说:“我断定,敌人的指挥所就在这里!”。然后命令所有的部队向胡家窝棚冲击。果不其然,廖耀湘这条“大鱼”在胡家窝棚附近被逮个正着,他之前还在沾沾自喜从上一次冲突中跑掉了呢。

在这里我还是要推荐下我自己建的大数据学习交流qq裙: 957205962, 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴



纵观历史长河,人们早就知道进行数据信息的收集、整理、分析,然后据此进行部署行动,从而达到自己的目标。这与当前的大数据分析套路完全一致,没有本质区别。只是当时局限于信息来源缺乏、分析方法简陋、没有分析工具可用,只能靠优秀人物的大脑来进行单机分析,导致数据分析效果受局限而已。当然如果领头大哥没有分析透彻或者根本就不进行数据信息的分析,那失败肯定是难以避免的了。历史上有多少成王败寇的故事啊。而其中很多失败的悲剧,无不是数据分析不足,判断失误,酿成了历史悲剧,让人扼腕痛惜!

猜你喜欢

转载自blog.csdn.net/cbyacq798/article/details/85229197
今日推荐