最近做的比较杂, 啥也接触,所以博客也是没接住,立的flag没实现, 啪啪打脸.
hive, 初次接触, 先是搭springboot+mybatis+hive的框架, 中间也有一点踩的坑.学习到了一些东西,简单整理一下;(ps:这个框架我整理一下, 扔到github上,再补个地址)
1.是什么
1> 基于hadoop的一个数据仓库工具
分布式文件系统和MapReduce计算框架, 解决计算密集型的问题,但是MapReduce编程模型,比较麻烦, 而hive提供的HQL查询,可以快速简单利用MapReduce的计算优势.
我们之前都学过java8的mapreduce, 其实就是将计算任务分割成多个, 然后再汇总.多线程中也有类似的.
2> hive不是完整的数据库;
3> 因为hadoop是面向批处理的系统, MapReduce任务启动过程需要消耗较长的时间,所以查询延时较为严重;