1. 传统服务器与大数据服务器的系统安装
传统服务器
系统硬盘(100%完全独立,不要存储业务数据)
物理磁盘做raid1(两个硬盘物理备份)
/boot 200M
/SWAP 内存的1-2被(大数据集群中要关闭)
/ 所有的空间
数据硬盘
多块小的硬盘 做一个大的硬盘(逻辑卷)
大数据服务器系统安装
系统硬盘(100%完全独立,不要存储业务数据)
物理磁盘做raid1(两个硬盘物理备份)
/boot 200M
/SWAP 内存的1-2被(大数据集群中要关闭)
/ 所有的空间
数据硬盘
优先不做raid 必须做raid时 物理磁盘做raid0
多块小的硬盘独立挂载(一个硬盘一个目录)
2. 大数据技术为什么快
-
传统的数据纵向扩展
服务器数量不发生变化,配置越来越高(发生变化)
大数据横向扩展
配置不发生变化,服务器数量越来越多(发生变化) -
传统的方式资源(cpu/内存/硬盘)集中
大数据方式资源(cpu/内存/硬盘)分布(前提:同等配置的前提下) -
传统数据备份方式单份备份
大数据数据备份方式多分备份(数据复制,默认三个副本) -
传统的计算模型是移动数据到程序端
大数据计算模型是移动程序到数据端
io 和网络的使用率都非常低,且多节点存储,多节点计算(众人拾柴火焰高)