Hive的安装与部署(MySQL作为元数据库)

一、Hive简介 Hive是一个基于 Hadoop的文件系统上的数据仓库架构。它为数据仓库的管理提供了许多功能:数据 ETL (抽取、转换和加载)工具、数据存储管理和大型数据集的查询与分析能力。同时 Hive 还定义了类 SQL 的语言 ― Hive QL , Hive QL 允许用户进行和 SQL 相似的操作。 Hive QL 还允许开发人员方便地使用 mapper 和 reducer 操作,这样对 MapReduce 框架是一个强有力的支持。 由干 Hadoop 是批量处理系统,任务是高延
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

Pig的安装及基本使用

一、PIG介绍 Pig是MapReduce的一个抽象。它是一个工具/平台,用于分析较大的数据集,并将它们表示为数据流。Pig通常与 Hadoop 一起使用;我们可以使用Pig在Hadoop中执行所有的数据处理操作。 要编写数据分析程序,Pig提供了一种称为 Pig Latin 的高级语言。该语言提供了各种操作符,程序员可以利用它们开发自己的用于读取,写入和处理数据的功能。 要使用 Pig 分析数据,程序员需要使用Pig Latin语言编写脚本。所有这些脚本都在内部转换为Map和Reduce任务
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

CentOS7下yum安装zabbix3.4

系统环境 [root@node1 ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [root@node1 ~]# uname -r 3.10.0-862.el7.x86_64 防火墙,selinux已关闭 服务端 192.168.231.130 node1 zabbix-server、zabbix-agent 作为服务端,也最为客户端,监控本地 客户端 192.168.231.131 node2 zabb
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

zabbix snmp安装及监控实例

系统环境 [root@node1 ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [root@node1 ~]# uname -r 3.10.0-862.el7.x86_64 防火墙,selinux已关闭 zabbix版本 3.4 服务端 192.168.231.130 node1 zabbix-server、zabbix-agent 作为服务端,也最为客户端,监
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

zabbix执行远程命令

系统环境 [root@node1 ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [root@node1 ~]# uname -r 3.10.0-862.el7.x86_64 防火墙,selinux已关闭 zabbix版本 3.4 服务端 192.168.231.130 node1 zabbix-server、zabbix-agent 作为服务端,也最为客户端,监
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

自动化运维工具-GitLab

GitLab 概述 GitLab 是一个利用 Ruby on Rails 开发的开源应用程序,实现一个自托管的 Git 项目仓库,可通过 Web界面迚行访问公开的或者私人项目。Ruby on Rails 是一个可以使你开发、部署、维护 web 应用程序变得简单的框架。 GitLab 拥有不 Github 类似的功能,能够浏览源代码,管理缺陷和注释。可以管理团队对仓库的访问,它非常易亍浏览提交过的版本并提供一个文件历叱库。它还提供一个代码片段收集功能可以轻松实现代码复用,便于日后有需要的时候进行
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

Mysql主从、主主、半同步复制

系统环境 主机名 IP node1 192.168.231.130 node2 192.168.231.131 MariaDB版本 # mysql --version mysql Ver 15.1 Distrib 5.5.60-MariaDB, for Linux (x86_64) using readline 5.1 Mariadb主从复制 主只可写,从只可读 主从复制: 从节点: I/O Thread:从Master请求二进制日志事件,并保存于中继日志中 SQ
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

Docker容器基础

什么是Docker 简介 Docker是 PaaS 提供商dotCloud开源的一个基于 LXC 的高级容器引擎,基于GO语言并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口,更重要的是容器性能开销极低。 Docker架构 Docker是CS架构,主要由下面三部分组成: Docker daemon: 运行在宿主机上,Dock
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

通俗易懂说单因素方差分析表

单因素方差分析 由单因素方差分析的名字,我们可以知道单因素指的是一个因素,即一个自变量,一个因变量,采用方差的方式进行分析。单因素方差表的核心内容是利用组间的离差平方和比上组内离差平方和。(注:离差平方和指的是各项与平均项的差的平方求和) 根据上述所求的参数,与已知的显著性参数比较,我们可以得到组间的差异和组内的差异的大小到底有多少,如果所求参数比较大,那么说明组间差异比较大,说明这个单因素的影响很大。反之,说明组间差距很小,单因素的影响很小。例如: 这里我们考虑只考虑电流对杂质率的影响。所谓
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

判断是否是对称树(C++版)

题目描述: 请实现一个函数,用来判断一颗二叉树是不是对称的。注意,如果一个二叉树同此二叉树的镜像是同样的,定义其为对称的。 递归法: 思路:首先根节点以及其左右子树,左子树的左子树和右子树的右子树相同,左子树的右子树和右子树的左子树相同即可,采用递归法。 public class Solution { boolean isSymmetrical(TreeNode pRoot) { if(pRoot == null){ return true; } return comRoot(pRoot.le
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

从尾到头打印单链表(c++版)

题目描述: 输入一个链表,按链表值从尾到头的顺序返回一个ArrayList。 代码实现: class Solution { public: vector printListFromTailToHead(ListNode* head) { vector < int> result; stack< int> arr; ListNode* p=head; while(p!=NULL) { arr.push(p->val); p=p->next; } int len=arr.size(); for(i
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

二维数组中查找(c++版)

题目描述: 在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。 两种解法: 第一种根据上述二维数组的描述,我们对二维数组进行观察发现,从左下角开始,向上数值是递减的,向右数值是递增的,故我们算法从左下角开始进行。代码如下: class Solution { public: bool Find(vector<vector< int > > array,in
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

二叉搜索树的后续遍历序列(C++版)

题目描述 输入一个整数数组,判断该数组是不是某二叉搜索树的后序遍历的结果。如果是则输出Yes,否则输出No。假设输入的数组的任意两个数字都互不相同。 解题思路: 1.二叉搜索树的特性是左子树值<=根值<=右子树树值。 2.那么该树后序遍历序列的特点是最后一个值是根节点。取出根节点剩下的序列可以分为两段,一段所有的节点值都小于等于根节点,一段所有节点值都大于等于根节点。并且这两段分别各自都是二叉搜索树。 3.故我们利用该特性递归解题,如果递归到最后两段长度分别为1,如果还是满足上述二叉树特性的,
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

二叉树中和为某一值的路径(c++)

题目描述: 输入一颗二叉树的跟节点和一个整数,打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。(注意: 在返回值的list中,数组长度大的数组靠前) 解题思路: 本题采用有记忆的dfs方式,每走一步,将目标值s减掉该节点的值的结果作为下一步递归的目标值,递归求解,如果递归到最后叶节点,如果剩余的目标值等于叶节点的值,那么说明该条路径满足,保存该路径。 代码如下: class Solution { public: vector<v
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

和为S的两个数(C++版)

题目描述: 输入一个递增排序的数组和一个数字S,在数组中查找两个数,使得他们的和正好是S,如果有多对数字的和等于S,输出两个数的乘积最小的。 输出描述: 对应每个测试案例,输出两个数,小的先输出。 解题思路: 最基本的解法暴力破解,可以得到解,但本题可能包含满足S的多个解,有趣的事通过发现,我们知道越靠近中间的两个数的乘积要大于一小一大的数。类似的有正方形的面积是周长为一个定值的长方形面积的最大值。 故我们的程序的指针从两边开始进行,找到的第一个解就是我们所求。 代码如下: class Sol
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

2019年腾讯算法提前批笔试第三题

题目描述:翻纸牌游戏,有一副数量为n的纸牌,从上到下依次叠放着1,2,…,n的数。现在我们依次进行如下操作:扔掉最上面一张牌,然后把新的最上面一张牌,放到这幅牌的底部。重复上述操作,直到这幅牌被扔完。求这幅牌中各牌被扔的顺序。 输入描述:第一行请输入纸牌的数量n,第二行输入从上到下牌的依次顺序。 输入描述:这幅牌被依次扔掉的顺序。 输入样例: 7 1 2 3 4 5 6 7 输出样例:1 3 5 7 4 2 6 代码描述: #include #include using namespace s
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

java解析Excel文档

首先看一下Excel文档,需要注意的是每个横着的是一行,竖着的是一列,每个Excel代表一个WorkBook对象,每一个Sheet代表一页,同理下标从0开始。 解析Excel: public WorkBook analyze(File file){ System.out.println("fileName"+file); try { InputStream is = new FileInputStream(file);
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

java获取客户端请求中cookie中的sessionId,销毁session重新建立sessionId

import org.springframework.stereotype.Controller; import org.springframework.web.bind.annotation.RequestMapping; import javax.servlet.http.Cookie; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import j
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

Android studio的All packages are not available for download

使用Android studio搭建android项目时报错版本号问题 解决方案:把代理去掉,setting -> proxy,这里勾选no proxy。
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0

windows 10 可以ping域名 无法ping ip

今天在vm安装ubuntu,发现宿主机无法ping通虚拟机,后来经过一大圈测试发现,宿主机竟然只能解析域名,无法解析ip??? 这是什么操作??? 后来也是在网上搜了一遭儿找到一个对我宿主机有用的方法 windows 10 ,分享一下 step 1: 打开控制面板,防火墙设置 step 2: 高级设置 step 3: 入站规则 step 4: 找到文件和打印机共享(回显请求) ICMPv4的 step 5: 点击 启用规则 再来尝试ping ok了,希望有所帮助!
分类: 其他 发布时间: 03-23 23:11 阅读次数: 0