hive-事务支持

一、事务 

在我们使用的hive中一般他是不会支持事务的,因为hive的存储基于hdfs,hdfs他每个数据都是一块,我们都成为一次写入多次读取,说明hadoop不希望你修改,或者删除数据的一部分,但有些同志没,还是想体验一下删除的快感,那么我们介绍一下关系型数据库的事务:

 一、事务的基本要素(ACID)

  1、原子性(Atomicity):事务开始后所有操作,要么全部做完,要么全部不做,不可能停滞在中间环节。事务执行过程中出错,会回滚到事务开始前的状态,所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体,就像化学中学过的原子,是物质构成的基本单位。

   2、一致性(Consistency):事务开始前和结束后,数据库的完整性约束没有被破坏 。比如A向B转账,不可能A扣了钱,B却没收到。

   3、隔离性(Isolation):同一时间,只允许一个事务请求同一数据,不同的事务之间彼此没有任何干扰。比如A正在从一张银行卡中取钱,在A取钱的过程结束前,B不能向这张卡转账。

   4、持久性(Durability):事务完成后,事务对数据库的所有更新将被保存到数据库,不能回滚。

二、事务的并发问题

  1、脏读:事务A读取了事务B更新的数据,然后B回滚操作,那么A读取到的数据是脏数据

  2、不可重复读:事务 A 多次读取同一数据,事务 B 在事务A多次读取的过程中,对数据作了更新并提交,导致事务A多次读取同一数据时,结果 不一致。

  3、幻读:系统管理员A将数据库中所有学生的成绩从具体分数改为ABCDE等级,但是系统管理员B就在这个时候插入了一条具体分数的记录,当系统管理员A改结束后发现还有一条记录没有改过来,就好像发生了幻觉一样,这就叫幻读。

  小结:不可重复读的和幻读很容易混淆,不可重复读侧重于修改,幻读侧重于新增或删除。解决不可重复读的问题只需锁住满足条件的行,解决幻读需要锁表

三、MySQL事务隔离级别

事务隔离级别 脏读 不可重复读 幻读
读未提交(read-uncommitted)
不可重复读(read-committed)
可重复读(repeatable-read)
串行化(serializable)

mysql默认的事务隔离级别为repeatable-read

具体步骤请参考:  https://www.cnblogs.com/huanongying/p/7021555.html

二、hive-事务支持:

hive如果你想支持事务那你建表的时候是有条件的

      1,第一你建的表必须是桶表

      2,把我们之前建表的类型文件如(stored as textfile)改成 stored as orc 

             orc: optimized row columnar,优化列模式文件

     3,在建表的最后加上 tblproperties('transactional'='true');

     4,   还有在建表之后要添加一些属性配置

SET hive.support.concurrency = true;
SET hive.enforce.bucketing = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
SET hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
SET hive.compactor.initiator.on = true;
SET hive.compactor.worker.threads = 1;


建表事例:
create table zxz_data(
name string,
nid int,
phone string,
ntime date
)
clustered by(nid) into 5 buckets
row format delimited
fields terminated by "\t"
lines terminated by "\n"
stored as orc
tblproperties('transactional'='true');
添加完数据后就可以删除,修改了

三、删除和修改

猜你喜欢

转载自blog.csdn.net/weixin_41122339/article/details/81783759