Hive总结及优化

1.hive是什么?hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的
分类: 移动开发 发布时间: 10-24 18:45 阅读次数: 0

zabbix监控mysql各项指标

准备两台虚拟机zabbix-server(服务端 ip:192.168.176.138)zabbix-agent(客户端 ip:192.168.176.139)两台分别上传zabbix.repo到/etc/yum.repos.d下面安装前工作// 关闭防火墙systemctl stop firewalldsetenforce 0// 时间同步yum -y install ntpdatentpdate pool.ntp.org服务端[[email protected] ~]# yum -y
分类: 移动开发 发布时间: 10-24 18:44 阅读次数: 0

IDEA连接MongoDB报com.mongodb.MongoSocketOpenException: Exception opening socket

标题 IDEA连接MongoDB报com.mongodb.MongoSocketOpenException: Exception opening socket报这样的错是因为MongoDB在3.6版本之后把bind_id的值默认为localhost,就是你的电脑的ip地址当你的电脑ip给虚拟机ip不一样时就报这样的错有下面2种解决方案方案一在conf/Mongodb.conf里添加bind_ip=0.0.0.0,添加这个参数是让任何的ip可以连接MongoDB#指定启动端口port=
分类: 移动开发 发布时间: 10-24 18:44 阅读次数: 0

VM虚拟机Linux开发环境搭建基础设置

目录三台机器的主机名及IP地址:修改主机名说明三台机器的主机名及IP地址shi1 192.168.81.140shi2 192.168.81.150shi3 192.168.81.160修改主机名(三台机器同样操作)使用以下命令修改主机名,修改完主机名以后输入reboot命令重启虚拟机,使主机名生效vi /etc/hostnama配置网卡(三台机器同样操作)首先使用vi /etc/sysconfig/network-scripts/ifcfg-ens..
分类: 移动开发 发布时间: 10-24 18:44 阅读次数: 0

EFK+redis缓存收集Apache日志

EFK收集日志准备三台机器三台机器elasticsearch服务器安装redis客户机安装filebeat服务器安装logstashkibana展示原理准备三台机器三台机器elasticsearch1) rpm -ivh jdk-8u131-linux-x64_.rpm2) yum -y install elasticsearch-6.6.2.rpm3) vim /etc/elasticsearch/elasticsearch.yml服务器安装redis1)yum -y inst
分类: 移动开发 发布时间: 10-24 18:44 阅读次数: 0

一问Kafka就心慌?我却凭着这份《Kafka源码实战》碾压面试官!

一问Kafka就心慌?我却凭着这份《Kafka源码实战》碾压面试官!Kafka是一个高度可扩展的消息系统,它在LinkedIn的中央数据库管理中扮演着十分重要的角色,因其可水平扩展和高吞吐率而被广泛使用,现在已经被多家不同类型的公司作为多种类型的数据管道和消息系统。那么,如何学习Kafka源码??我觉得最高效的方式就是去读最核心的源码,先看一张 Kafka结构图 以及 Kafka 源码全景图梳理一下关于 Kafka 框架,找到学习的重点。其次,我要说的就是一个Kafka源码解析的
分类: 移动开发 发布时间: 10-24 18:43 阅读次数: 0

Linux讲解使用前准备

一、Linux和Windows区别比较WindowsLinux费用收费且很贵Linux免费或少许费用软件与支持数量和质量的优势,不过大部分为收费软件;由微软官方提供支持和服务开源自由软件,用户可以修改定制和再发布,由于基本免费没有资金支持,部分软件质量和体验欠缺;有全球所有的Linux开发者和自由软件社区提供支持安全性三天两头打补丁安装系统安全性更新,还是会中病毒木马要说Linux没有安全问题,那当然是不可能的,这一点仁者见仁智者见智,相对来说肯定比Windo
分类: 移动开发 发布时间: 10-24 18:43 阅读次数: 0

hive启动失败,Hive Schema version 3.1.0版本问题

MetaException(message:Hive Schema version 3.1.0 does not match metastore’s schema version 1.2.0 letastore is not upgraded or corrupt)Caused bty: Met Exception(message:Hive Schema version 3.1.8 does not match metastore 's schema version 1.2.0 letastore is
分类: 移动开发 发布时间: 10-24 18:43 阅读次数: 0

2020 CCPC 秦皇岛站 Promble G. Good number

2020 CCPC 秦皇岛站 Promble G. Good number**题意:**一个正整数x,当且仅当x开k次方(向下取整)整除x时,即x/x^1/k,x为一个good number。现给定一个整数n,求1到n之间有多少个good number?**分析:这道题运用到了分块,通过判断得出,k分为三种情况:1.当k=1时,即x除以x本身,1到n间所有数字都能满足good number,输出n2.当k<=31时(以k=2为例)我们可以把x分为多个块,划分依据为x开k次
分类: 移动开发 发布时间: 10-24 18:21 阅读次数: 0

2020年最新Java面试手册:答题技巧

笔试答题技巧回答问题的思路:先正面叙述一些基本的核心知识,然后描述一些特殊的东西,最后再来一些锦上添花的东西。答题时,先答是什么,再答有什么作用和要注意什么(这部分最重要)。答案的段落分别,层次分明,条理清晰都非常重要,从这些表面的东西也可以看出一个人的习惯、办事风格、条理等。要讲你做出答案的思路过程,或者说你记住答案的思想都写下来。把答题想着是辩论赛。答题就是给别人讲道理、摆事实。答题不局限于什么格式和形式,就是要将自己的学识展现出来!别因为人家题目本来就模棱两可,你就心里胆怯和没底气了。要大胆地
分类: 移动开发 发布时间: 10-24 18:21 阅读次数: 0

打死我都没想到:Java技术最菜,最后却面上了阿里

前言今天分享一个粉丝的面试经历,说出来我都觉不可思议:粉丝教育背景: 985非计算机本科, 计算机相关知识纯自学, 了解的也很浅, 唯一的优点就是题刷得不错。就这样海投了网易, 滴滴, 字节, 腾讯, 华为的JAVA岗,全部GAME OVER。正当他准备要放弃的时候,没想到却收到了阿里的橄榄枝。就连给我分享他的面试经历的时候,都还不停的吐槽。阿里一面做过的印象最深的项目?(聊项目)MySQL 的 log 有哪些?分别是用来做什么的?(undo log,redo log,binlog)数据
分类: 移动开发 发布时间: 10-24 18:21 阅读次数: 0

《零基础看得懂的C语言入门教程 》——(六)轻轻松松了解C语言的逻辑运算

一、学习目标了解C语言的基本数据类型注意:本篇内容知识大多为理论知识,如觉得生涩难懂也没关系,下一节将会以实际示例出发学习这些理论知识。二、了解C语言程序的基本数据类型五、总结通过以上描述与讲解,我们了解了以下几点内容:初学者开始写代码先从main之后的花括号内编写代码了解了函数的概念为一个功能的实现了解了printf函数的使用方法,在函数内传入值即可在程序运行时显示知道了头文件的位置及函数存放于头文件内了解了stystem函数是调用DOS系统命令的函数了解了main的作用是表示
分类: 移动开发 发布时间: 10-24 18:20 阅读次数: 0

年前裸辞在家闭关,啃下这些面试笔记,终,拿到字节跳动4面offer

个人情况介绍:出生江南小镇,在北京读书,毕业之后就留了下来,学历是211本科,资历各方面都不错,因此在简历上也能够充分体现我自己的优势,年前海投简历之后,现在已经接到不少公司抛来的橄榄枝了,只要面试顺利,基本上是公司任你挑的状态了。以下主要分享面经和个人学习方法,会包括很多PDF文档,如面试题库(含答案+解析)、学习笔记、实战文档和脑图等等,均可以免费分享字节跳动4面核心面试题Java 基础部分HashMap和ConcurrentHashMap区别 ConcurrentHas...
分类: 移动开发 发布时间: 10-24 18:20 阅读次数: 0

【推荐算法】从架构到原理学习推荐(上)

前言推荐系统是算法领域一个比较有趣且自由度很高的玩法,解决问题的宗旨是“给什么样的user推荐什么样的item”,当然这里的user和item概念可以互换或升华。工业上不同企业所用的推荐系统架构也不尽相同,本文介绍的是一套工业上比较基础的三层式架构:召回+排序+过滤。零基础朋友们也别慌,本文会通俗介绍所有概念,下一篇文章再讲解代码实战,欢迎大佬们指出不足之处!目录前言推荐的定义推荐的架构二级目录三级目录推荐的定义狭义上的推荐: 给用户(User)推荐项目(Item),挖掘用户可能喜欢的项目展示给用
分类: 移动开发 发布时间: 10-24 18:20 阅读次数: 0

【庆祝1024程序节】分享蚂蚁4面同程艺龙3面,拿到蚂蚁P6 offer

庆祝1024程序节 百万开源英雄齐聚岳麓 见证开源新时代前言个人觉得面试也像是一场全新的征程,失败和胜利都是平常之事。所以,劝各位不要因为面试失败而灰心、 丧失斗志。也不要因为面试通过而沾沾自喜,等待你的将是更美好的未来,继续加油! 本篇分享的面试题内容包括:Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux 等技术栈。...
分类: 移动开发 发布时间: 10-24 18:19 阅读次数: 0

单片机菜鸟哥的大学四年以及工作七年,献给迷茫的电子物联网类的师弟师妹,绝对干货

文章目录1、前言2、重要抉择2.1 学生社团2.2 专业方向抉择2.3 参加比赛2.4 奖学金2.5 科研立项、大学生创业2.6 班干部2.7 帮老师做项目2.8 恋爱2.9 工作 Or 考研?2.10 兼职2.11 寒暑假安排3、我的四年大学3.1 大一3.2 大二3.3 大三3.4 大四4、我的七年工作5、总结授人以鱼不如授人以渔,目的不是为了教会你具体项目开发,而是学会学习的能力。希望大家分享给你周边需要的朋友或者同学,说不定大神成长之路有博哥的奠基石。。。共同学习成长QQ群 622368
分类: 移动开发 发布时间: 10-24 18:19 阅读次数: 0

阿里Java研发:4大核心事业部面试题116道含答案(2020年最新整理)

如果你参加了很多公司的面试,但都没有拿到心目中理想的offer,又或者拿到offer的概率特别低,原因很简单,你可能在技术知识点上有漏洞。Java面试,是对技术知识栈的梳理、考核、复盘每一次Java面试,其实都是一次学习机会,是对自己技术知识栈的梳理、考核、复盘。我们应该抱着学习的态度,认真对待,找到自己比较薄弱的环节,尽快去查漏补缺学习巩固。经过一轮认真复习之后,你会发现自己的技术知识栈越来越充实,这时候再去挑战好offer,成功概率无疑会增大很多。当有机会参与心仪公司或BAT大厂面试时,..
分类: 移动开发 发布时间: 10-24 18:19 阅读次数: 0

一文掌握UML用例图和时序图:PlantUML实操分享

uml用例图uml时序图plantuml用例图plantuml时序图用例图参与者用例系统边界时序图角色对象生命线控制焦点消息
分类: 移动开发 发布时间: 10-24 18:19 阅读次数: 0

力扣 416.分割等和子集 背包问题

416.分割等和子集给定一个只包含正整数的非空数组。是否可以将这个数组分割成两个子集,使得两个子集的元素和相等。注意:每个数组中的元素不会超过 100数组的大小不会超过 200示例 1:输入:[1, 5, 11, 5]输出:true解释: 数组可以分割成 [1, 5, 5] 和 [11].示例 2:输入:[1, 2, 3, 5]输出:false解释: 数组不能分割成两个元素和相等的子集.思路:先判断总数是否是偶数,确定背包容量,然后遍历判断背包容量是否够大
分类: 移动开发 发布时间: 10-24 18:18 阅读次数: 0

用跑车的钥匙打开乐观锁与悲观锁,并发性能风驰电掣!

前言:在编程世界里,「锁」五花八门,多种多样,每种锁的加锁开销以及应用场景也可能会不同。近年来如何用好锁,也是程序员的基本素养之一了。高并发的场景下,如果选对了合适的锁,则会大大提高系统的性能,否则性能会降低。所以,知道各种锁的开销,以及应用场景是很有必要的。接下来,就谈一谈常见的这两种锁:悲观锁、乐观锁。一、何谓悲观锁与乐观锁另外本人整理了20年面试题大全,包含spring、并发、数据库、Redis、分布式、dubbo、JVM、微服务等方面总结,下图是部分截图,需要的话点这里点这里,暗号CSD
分类: 移动开发 发布时间: 10-24 18:18 阅读次数: 0