大数据软件栈

操作系统OS

CentOS 6.5 64位 ( http://www.centos.org/) (*****)

Ubuntu Server 12.04 LTS 64位 ( http://www.ubuntu.com) (****)

 

注意选择安装软件包（安装snmp）CentOS要更新源，安装epel

 

运维工具DevOps

PSSH ( http://code.google.com/p/parallel-ssh/) (*****)

Puppet ( http://puppetlabs.com/puppet/puppet-open-source) (*****)

MCollective ( http://puppetlabs.com/mcollective)  (*****)

SaltStack ( http://www.saltstack.com/community/) (****)

 

PSSH必须，建议使用Puppet+MCollective

 

监控工具

Ganglia (http://ganglia.info/) (*****)

Nagio (http://www.nagios.org/) (****)

Zabbix (http://www.zabbix.com/) (****)

 

Ganglia和Nagio监控hadoop，Zabbix监控整个软硬件(包括交换机、路由器)

 

开发工具

Sun Java 7 (http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html)

python 自带

perl 自带

shell 自带

 

Hadoop软件栈

建议使用CDH5（ http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html）

必需组件Hadoop 2.0、ZooKeeper、HBase、Hive、Pig、 Mahout、Hue

可选组件Flume、 Impala、 Oozie、 Solr、 Sqoop 2

 

其他大数据软件

Storm (http://www.storm-project.net/)

Spark (http://spark.incubator.apache.org/research.html)

Shark (https://github.com/amplab/shark/wiki)

GraphLab (http://graphlab.org/)