hadoop集群搭建之CentOS7克隆

1、查看防火墙是否关闭
分类: 其他 发布时间: 01-24 23:43 阅读次数: 0

Xshell连接后又断开问题(Disconnected from remote host)

Last login: Fri Nov 1 12:36:08 2019 from 10.0.1.25Connection closed by foreign host.Disconnected from remote host(20.0.0.91) at 12:38:43.Type `help' to learn how to use Xshell prompt.2种情况1、ip被占用 静态ip会出现的问题:我是属于这一种情况的,我是克隆虚拟机后修改静态ip。之前修改好的都...
分类: 其他 发布时间: 01-24 23:43 阅读次数: 0

将文件中的数据通过python传到mysql中

我们需要几个包来实现这一功能,下面我和详细讲一下这几个包一、pymysql要传数据到数据库中肯定先要连接数据库①连接数据库db = pymysql.connect('localhost', 'root', '000000', 'sys')# 等价于,因为怕参数顺序错误,可以通过以下形式db = pymysql.connect(host='localhost', user='root', password='000000', database='sys')# 等价于,也可以将参数都传到
分类: 其他 发布时间: 01-24 23:42 阅读次数: 0

关于hadoop群起脚本走过的那些坑

1、dos与unix不匹配当脚本在远程客户端写得,或者从其它地方粘贴过来时可能会出现的问题,原因是粘贴过来的文本内容不是unix格式(一般是dos格式),需要在vi编辑器上将文件类型改为unix# 按esc,输入::set fileformat=unix:wq2、zookeeper或journalnode在群起脚本上启动也没有保错,很正常,但jps就是没启动zookeeper和journalnode有点特殊,我也忘记是为啥了,反正就是群起脚本执行前要加source /etc/profi
分类: 其他 发布时间: 01-24 23:42 阅读次数: 0

详解MySQL事务(超详细)

事务由单独单元的一个或多个SQL语句组成,在这个单元中,每个MySQL语句是相互依赖的。而整个单独单元作为一个不可分割的整体,如果单元中某条SQL语句一旦执行失败或产生错误,整个单元将会回滚。所有受到影响的数据将返回到事物开始以前的状态;如果单元中的所有SQL语句均执行成功,则事物被顺利执行。 即开始事务后执行的所有SQL都是一个整体,一个单元,要么都执行,要么都不执行。这里不执行的意思就row back即回滚,就是回到事务执行前的状态。1、查看存储引擎在mysql中,...
分类: 其他 发布时间: 01-24 23:42 阅读次数: 0

ubuntu-16.04.6安装教程

一、创建虚拟机1、右键左边空白处点击新建虚拟机,选择自定义,点击下一步2、按默认的就行,直接点下一步3、选择稍后安装操作系统,然后点击下一步4、选择linux,版本为Ubuntu 64位5、点击浏览,自定义要安装的位置6、处理器配置,这个看个人,不一定要和我一样,感觉电脑运行快的可以配高点,感觉电脑有点带不动的配低点7、设置虚拟机内存,也是看个人电脑配置,默认2G8、网络类型为NAT,方便后面配静态ip,不想配的可以使用桥接9、下面几个都是
分类: 其他 发布时间: 01-24 23:41 阅读次数: 0

Hive安装详细步骤

一、下载hive下载hive——地址:http://mirror.bit.edu.cn/apache/hive/二、安装mysql执行以下几个命令安装mysqlsu - rootyum -y install mysql mysql-server mysql-develwget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5
分类: 其他 发布时间: 01-24 23:41 阅读次数: 0

Kafka概述及基础架构

一、kafka定义:Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue,简称MQ),主要应用于大数据实时处理领域。这里有几个关键字,我们抓一下:①、分布式的:说明kafka的使用要依赖于集群,这也说明kafka这个消息队列是可拓展的,即当数据量过大,kafka过载时,可以通过增加集群机器来提升kafka的性能。②、发布/订阅模式:这个我后面会介绍,消息队列分为点对点消息系统和发布/订阅消息系统。③、消息队列:说明kafka是一个消息队列,负责的功能是将数据
分类: 其他 发布时间: 01-24 23:41 阅读次数: 0

公钥私钥与数字签名

英文原文网址:http://www.youdzone.com/signature.html原文:http://www.ruanyifeng.com/blog/2011/08/what_is_a_digital_signature.html最近看到一篇很好的文章分享给大家首先给大家科普一下什么是公钥私钥:公钥是与私钥算法一起使用的密钥对的非秘密一半。公钥通常用于加密会话密钥、验证数字签名,或加密可以用相应的私钥解密的数据。公钥和私钥是通过一种算法得到的一个密钥对(即一个公钥和一个私钥),其中的
分类: 其他 发布时间: 01-24 23:41 阅读次数: 0

kafka配置与安装教程

1、jar包下载http://kafka.apache.org/downloads.html2、集群部署正常集群规划为完全分布式里的每台主机都要配置有zookeeper,kafka如:①使用工具将jar包传到集群中(为了方便演示,使用的是伪分布式)②解压到相应文件夹中tar -zxf kafka_2.11-0.11.0.0.tgz -C /opt/modules/解压成功,个人习惯将文件夹命名为kafka:③在kafka目录下创建logs文件④配
分类: 其他 发布时间: 01-24 23:40 阅读次数: 0

kafka命令行常用命令详解

(1)查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper hadoop100:2181 --list目前没有主题,所以没有输出,下面我们创建一个主题(2)创建通topicbin/kafka-topics.sh --zookeeper hadoop100:2181 --create --replication-factor 1 --partitions 2 --topic first选项说明: --topic 定义 topic .
分类: 其他 发布时间: 01-24 23:40 阅读次数: 0

kafka生产者与消费者详细架构

参考链接:https://blog.csdn.net/LeoHan163/article/details/105902707https://developer.aliyun.com/article/7636021、生产者工作流程在生产者将消息发送出去之前,需要经历拦截器(Interceptor)、序列化器(Serializer)和分区器(Partitioner)等一系列的作用,随后才真正进入发送消息发送流程。整个生产者客户端由两个线程协调运行,这两个线程分别为主线程和Sender线程
分类: 其他 发布时间: 01-24 23:40 阅读次数: 0

LL(1)文法的语法分析java实现

java代码如下:package 文法分析器;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStreamReader;import java.util.*;/* *(1)产生式集合 *(2)first和follower集合 **/public class Grammar_Analysis { //first集合 public static Hash.
分类: 其他 发布时间: 01-24 23:40 阅读次数: 0

kafka API之生产者Producer

写kafka生产者前先通过命令行创建topic主题和开启消费者:①创建topic:bin/kafka-topics.sh --zookeeper hadoop100:2181 --create --replication-factor 1 --partitions 2 --topic first②开启消费者:bin/kafka-console-consumer.sh --zookeeper hadoop100:2181 --topic first一、最简单的生产者代码:pac.
分类: 其他 发布时间: 01-24 23:39 阅读次数: 0

KafkaAPI之消费者Consumer

1、最简单消费者package tyh.consumer;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaCons
分类: 其他 发布时间: 01-24 23:39 阅读次数: 0

Kafka自定义拦截器

Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现 clients 端的定制化控制逻辑。对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor 按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor 的实现接口是org.apache.kafka.c
分类: 其他 发布时间: 01-24 23:39 阅读次数: 0

kafka工具——Eagle2.0.0安装教程

1、解压Eagle
分类: 其他 发布时间: 01-24 23:39 阅读次数: 0

排序算法简述

排序算法一、冒泡排序1.1 冒泡排序简介1.2 算法执行步骤与图解1.3 java程序实现二、选择排序2.1 选择排序简介2.2 算法执行步骤与图解2.3 java程序实现三、插入排序3.1 插入排序简介3.2 算法执行步骤与图解3.3 java程序实现四、希尔排序4.1 希尔排序简介4.2 算法执行步骤4.3 java程序实现五、归并排序5.1 归并排序简介5.2 算法步骤与图解5.3 java程序实现六、快速排序6.1 快排简介6.2 算法步骤与图解6.3 java程序实现七、堆排序7.1 堆排序简介7
分类: 其他 发布时间: 01-24 23:38 阅读次数: 0

构造中小型园区网实训案例

学习目标:提示:这里可以添加学习目标例如:一周掌握 Java 入门知识学习内容:提示:这里可以添加要学的内容例如:1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间:提示:这里可以添加计划学习的时间例如:1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出:提示:这里统计学习计划的总量例如:1、 技术笔记 2 遍2、CSDN 技术博客 3 篇
分类: 其他 发布时间: 01-24 23:38 阅读次数: 0

使用SharePoint App-Only获得访问权限

使用SharePoint App-Only获得访问权限目前在开发SharePoint Online的过程中,主要使用通过Azure AD的方式获得应用的访问权限,但是SharePoint App-Only的方式依旧被保留了。使用这种方式进行CSOM开发比使用Azure AD相对要简单,因为使用Azure AD的方式,需要发布自签名证书,相应的代码也会复杂一些。但是需要注意的是,使用App-Only的方式是无法创建modern site的。使用App-Only的方式,首先要访问 https://your-
分类: 其他 发布时间: 01-24 23:37 阅读次数: 0