大数据传输技术与热点问题

数据科学是研究数据的收集、传输、管理、分析、应用,还有环境的感知,是一种交叉性的学科。它的目的是为了揭示数据的内在规律,探索数据计算、数据处理的基本理论和方法,最终实现从数据到知识的转化。 

  我们一开始讲到数据处理,它有一个生命周期,围绕它生命周期,比如说数据源感知获取、存储管理、计算分析、可视化,到时候交互决策运用。涉及到技术包括硬件平台、存储管理系统、计算处理环境、数据分析的软硬件,以及可视化系统和业务平台。这是它涉及到一些技术方面的东西。这是我们得到的一些判定。我们自己认为有些是成熟的,有些是进入刚刚发展阶段。

  这几张是我在去年年底的时候代表大数据专家委员会,面向全国发布的2015年度中国大数据发展趋势预测,加起来是两百多位专家,包括学界、产业界,包括产业联盟、海内外专家。我们认为2015年的中国大数据,从2012年开始每年做的趋势预测和白皮书的研究,我们认为2015年的趋势预测简单来讲有十点。第一,原来叫数据的存储管理,现在叫数据的分析,就是数据最后要形成决策、知识,核心在什么地方?除了能把数据存起来之后,核心在于能够从数据挖掘价值,大数据传输的融合分析是数据价值化的热点。这一两年来,神经计算、深度学习、云计算、人工智能各方面东西慢慢成为潮流。我们认为2015年数据分析将成为大数据传输很重要的一点。

  第二,数据科学将带动多学科融合,但是它自身尚未成体系,因为数据科学体现在社会科学、心理学、经济、信息、管理,多方面的融合产生的数据科学。我们提出一个新的学科,叫数据与计算科学,它将是与信息科学并列的一门新的交叉性学科。我们在尝试怎么通过需求驱动研究这门学科的基础方法、问题体系,同时也希望这个交叉性学科的研究,利用交叉领域的一些方法对这门学科研究提升,目前还没有成为体系。这是第二方面。

  第三方面是跨界融合。一句话,“互联网+”,跟各个方面的领域结合就是互联网思维大数据作为血液和灵魂,促进行业自身的跨越发展和各行业跨界交流。大数据传输在这个里面将会发生巨大的不可或缺性的作用。

  第四点就是“物云移设”的融合。物联网、云计算、移动互联和社会计算,这些跟大数据传输交相呼应,最后产生综合价值。数据来源哪里?通过物联网、移动互联,去感知、传输、交互,产生新的东西,最后云计算平台支撑大数据发挥价值。我们认为,它们实际上是非常紧密相关的东西。还有平台技术进一步往前发展。

  大数据传输的安全和隐私。安全和隐私问题永远是一个非常重要的问题。不论是美国斯诺登曝光,美国对别的国家监控,还是对他们自己公民的监控,还是英国做的对全民监测。刚才说智能手机每时每刻把所有的信息曝光,这里面有安全,有隐私,安全从大的方面来说有国家安全、群体安全、公司安全,隐私有个人的、企业的。一个信息系统的建设要关注这个问题,技术手段上我们要关注安全隐私问题,计算模式、深度学习、可视化,人才和教育是大数据传输里面非常重要的问题。我们技术手段要提升,理论方法要提升,但是最主要的还是有一些高校的人才提供知识。

  最后,趋势。就是开元系统成为主流。开元系统实际上已经成为主流,开元系统将继续在我们的各种信息化建设里面发挥重要作用,开元并不等于说你拿来就能用,开元还是要针对自己的需求做改进。包括百度、腾讯、阿里,它们也是在开元系统做自己的系统,但是做了之后要形成自己特色的东西。我们行业的、互联网的,以及小规模应用,其实开元将成为主流。这是十大趋势。我给它总结叫基础通过融合跨越。

  我是我们网络数据科学重点实验室主任,我们2012年的时候组织了科技会议,促进了中国当时的大数据和数据科学在各行各业的研讨。我们在2012年成立了中国大数据专家委员会,我们这个重点实验室在2010年就成立了网络大数据,核心目的是研究这种超大规模大数据系统核心的支撑平台技术,和它的一些应用手段。我们目前已有的一些东西,包括大数据传输引擎以及融合分析系统、信息监测、社会媒体服务、大数据传输管理、安全的相关信息,以及业务系统。我们这个叫天机系列,我们的系统用在了公安、安全、工信部、中央网宣办相关的业务系统。我们底层的大数据传输技术设施平台和上面分布式的结构化、数据存储管理、计算系统,有上百家用户在使用,包括像腾讯、阿里,以及中国移动,用了我们相关的基础设施系统。

  这是我们上面的软件站,这个软件站我们希望把它做成下一代对应的系统,是面向一支多流全生命周期处理的大数据传输自动框架。这是我们自己的大数据传输引进系统。包括流失数据的聚合,包括我们的一套开放知识网络系统。

  一方面是对大数据传输比较简单的理解,什么叫大数据传输,什么叫数据界,它面临的四个难点性问题,数据复杂性、计算复杂性、系统复杂性和判定复杂性,以及数据科学,大数据传输最后的目的是什么?目的是发现知识、获取知识、辅助决策。怎么样使用这个?我们是一种新的思维,从认知到聚合,从聚合到(涌现),这是一条路线。


来源:中国教育网

猜你喜欢

转载自blog.csdn.net/weixin_42344808/article/details/80655408