Hadoop day01

Hadoop day01

课程安排

第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce演示
第二天 hdfs的原理和使用操作、编程
第三天 mapreduce的原理和编程
第四天 常见mr算法实现和shuffle的机制
第四天 hadoop2.x中HA机制的原理和全分布式集群安装部署及维护
第六天 hbase hive
第七天 storm+kafka
第八天 实战项目

hadoop是什么？

What is Apache Hadoop?
The Apache Hadoop project develops open-source software for reliable,scalable ,distrivated computing.

1. 解决问题：
   
   1. 海量数据的存储（HDFS）
   2. 海量数据的分析（MapReduce）
   3. 资源管理调度（YARN）
2. 作者：Doug Cutting
3. 受Google三遍论文的启发（GFS、MapReduce、BigTable）

hadoop具体能干什么？

hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有费编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Tiwtter、linkedln上用于发现您可能认识的人，可以实现类似Amazon.comde 协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout）

问题：怎样解决海量数据的存储？

怎么解决海量数据的计算？