大数据与传统数据对比

1. 传统服务器与大数据服务器的系统安装

传统服务器

系统硬盘(100%完全独立,不要存储业务数据)
物理磁盘做raid1(两个硬盘物理备份)
/boot 200M
/SWAP 内存的1-2被(大数据集群中要关闭)
/ 所有的空间

数据硬盘
多块小的硬盘 做一个大的硬盘(逻辑卷)
在这里插入图片描述

大数据服务器系统安装

系统硬盘(100%完全独立,不要存储业务数据)
物理磁盘做raid1(两个硬盘物理备份)
/boot 200M
/SWAP 内存的1-2被(大数据集群中要关闭)
/ 所有的空间

数据硬盘
优先不做raid 必须做raid时 物理磁盘做raid0
多块小的硬盘独立挂载(一个硬盘一个目录)
在这里插入图片描述

2. 大数据技术为什么快

  1. 传统的数据纵向扩展
    服务器数量不发生变化,配置越来越高(发生变化)
    大数据横向扩展
    配置不发生变化,服务器数量越来越多(发生变化)

  2. 传统的方式资源(cpu/内存/硬盘)集中
    大数据方式资源(cpu/内存/硬盘)分布(前提:同等配置的前提下)

  3. 传统数据备份方式单份备份
    大数据数据备份方式多分备份(数据复制,默认三个副本)

  4. 传统的计算模型是移动数据到程序端
    大数据计算模型是移动程序到数据端
    io 和网络的使用率都非常低,且多节点存储,多节点计算(众人拾柴火焰高)

发布了36 篇原创文章 · 获赞 246 · 访问量 21万+

猜你喜欢

转载自blog.csdn.net/weixin_45749011/article/details/102904439
今日推荐