hadoop与cuda的几点思考

分布式计算的hadoop与cuda的几点思考

最近学习分布式计算,突然想到一个问题,hadoop 和cdua有什么关系。为什么有的问题要并行计算,交给GPU处理,而现在GPU编程的主体是cuda并行计算,有的交给分布式hadoop处理?

学习后,受到点启发, 觉得应该是这样的:

首先有两种情况:数据密集型、计算密集型
1.数据密集型:数量大,但是对每一条数据的处理并不一定麻烦,比如,对1T的文件统计字数,可以交给10台机器分别统计。

2.计算密集型:数量并不一定大,但是对每条数据的计算量非常大,比如对图像训练的深度神经网络。
 实现基于机器学习的自动的智能化数据价值挖掘是大数据和Hadoop最诱人的愿景了,也就是将数据密集型和计算密集型工作都集成到hadoop自身,这也是很多企业对大数据平台的最终期望。随着可获得的数据越来越多,未来大数据平台的价值更多的取决于其计算人工智能的程度。

猜你喜欢

转载自blog.csdn.net/qq_39499621/article/details/85019363