大数据基本概念

1、基本概念

  • 关系模型:包括关系数据结构、关系操作集合、关系完整性约束三部分
  • 关系型数据库:建立在关系模型基础上的数据库。由多张能互相联接的二维行列表格组成。
  • 非关系型数据库(Nosql(Not Only SQL)):包括键-值(Key-Value)存储数据库、列存储数据库、文档型数据库、图形(Graph)数据库
  • RDBMS(Relational Database Management System):关系型数据库管理系统。
  • SQL(Structured Query Language):标准数据查询语言。一种基于关系数据库的语言,用于执行对关系数据库中数据的检索和操作 
  • MySQL:一种关系型数据库管理系统。使用标准的SQL数据语言形式
  • MongoDB:一种文档型数据库数据库。由C++语言编写,介于关系型数据库和非关系型数据库之间
  • Redis:一种键-值存储数据库,通常用hash table来实现。主要用于处理大量数据的高访问负载,如内容缓存、日志系统等,查找速度快
  • 数据库引擎:用于存储、处理和保护数据的核心服务,可控制访问权限并快速处理事务,从而满足企业内大多数需要处理大量数据的应用程序的要求。MYSQL默认支持三个引擎:ISAM、MYISAM和HEAP。另外两种常用引擎:INNODB和BERKLEY(BDB)
  • ISAM:一种MySQL数据库引擎。考虑到数据库被查询的次数要远大于更新的次数。ISAM执行读取操作的速度很快,而且不占用大量的内存和存储资源
  • MyISAM:一种MySQL数据库引擎。除了提供ISAM里所没有的索引和字段管理的大量功能外,MYISAM还使用一种表格锁定的机制,来优化多个并发的读写操作
  • InnoDB:一种MySQL数据库引擎。INNODB和BDB包括了对事务处理和外来键的支持
  • Hadoop:一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop框架最核心的设计是HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算
  • HDFS(Hadoop Distributed File System):
  • MapReduce:谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法
  • YARN:
  • IPC(Inter-Process Communication):进程间通信
  • 集群(Cluster)
  • 高可用(High Availability)
  • 心跳(HeartBeat)
  • 脑裂()
  • GIL(Global Interpretor Lock):全局锁。
  • 中间人攻击:

猜你喜欢

转载自www.cnblogs.com/cxc1357/p/9038452.html