HDFS写流程

hadoop1.x默认数据队列是以64M为单位 hadoop2.x默认数据队列是以128M为单位 Pipeline 会以更小的包(缓冲区) 会反馈回给上一个DataNode 传输过去 写流程 1、HDFS client 会请求NameNode 检查(检查请求路径 文件等)通过后 返回上传的第一个节点 2、客户端 根据返回的第一个节点 会根据第一个节点建立管道连接 第一个节点跟第二个节点建立管道连接 第二个节点跟第三个节点建立管道连接 3、一个文件 会切成128M的块 这个块会以更小的包(缓冲区
分类: 编程语言 发布时间: 04-10 23:00 阅读次数: 0

HDFS文件权限 POSIX

r: read; w:write; x:execute 1、权限x对于文件忽略,对于文件夹表示是否允许访问其内容 2、如果Linux系统用户zhangsan使用hadoop命令创建一个文件,那么这个文件在HDFS中owner就是zhangsan。 3、HDFS的权限目的:阻止好人错错事,而不是阻止坏人做坏事。HDFS相信,你告诉我你是谁,我就认为你是谁。 总结: 谁创建的 就是谁的
分类: 编程语言 发布时间: 04-10 23:00 阅读次数: 0

梳理Python基本认识基本类型,从零开始,学习Python!

先罗列一下Python提供的基本数据类型:数值(整型、浮点型、复数、布尔型等)、字符串、列表、元组、字典、集合等,将它们简单分类如下:字符串(String)首先,我们定义一个s='python'语句,它在计算机中的执行顺序是先在内存中创建一个字符串python,在程序栈寄存器中创建一个变量s,最后把python的地址赋给s。再来看看字符串的一些常见操作切片替换查找find()ind
分类: 编程语言 发布时间: 04-10 22:50 阅读次数: 0

Ceph 手工部署13.2版本

安装ceph官方文档0.部署前的准备在部署之前需要准备好三台CentOS主机,我这里使用的是CentOS7.5,并将系统内核升级到4.x长期支持版本,相关的配置信息如下:节点主机名和IP信息local-node-1:10.0.0.1local-node-2:10.0.0.2local-node-3:10.0.0.3配置hosts解析三台节点的主机名,并将三台节点配置为无密码认证模式。关闭防火墙和S
分类: 企业开发 发布时间: 04-10 22:50 阅读次数: 0

Cat4500升级注意事项

第一部分:升级ROMMON 可以通过release note去查看什么Supervisor建议什么样的版本。例如: ROMMON Release Notes for the WS-X45-SUP7-E, WS-X45-SUP7L-E, and WS-C4500X Family of Switches Current Release: 15.0(1r)SG16—March 14, 2019 Prior Releases: 15.0(1r)SG15, 15.0(1r)SG14, 15.0(1r)S
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

使用配置类而不使用XML文件(代替bean.xml)对spring进行配置

以下类是一个配置类,它的作用和bean.xml是一样的 注解:   @Configuration     作用:        用于指定当前类是一个spring配置类,当创建容器时会从该类上加载注解。        获取容器时需要使用AnnotationApplicationContext(有@Configuration注解的类.class)。        ApplicationContext ac = new AnnotationConfigApplicationContext(Sprin
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

关于黑洞,那些你所不知道的人和事

霍金在最后一本著作《十问》中曾写道,“据说事实有时候比小说更奇怪,黑洞最能真实地体现这一点,它比科幻作家梦想的任何东西都更奇怪”。   黑洞最初只存在于牛顿万有引力定律和爱因斯坦广义相对论的公式和方程中,它太奇特,以至于最初“预见”它的人都不相信黑洞真的存在。但黑洞的诡异、神秘也让一代代科学家为之痴迷。直到 2015 年,首次探测到的引力波为黑洞的存在提供了具体证据。   而今,科学家们更进一步,关于黑洞的第一张特写照片即将在周三公布!在焦急等待的这段时间里,我们把视线拉回,一起回顾人类追寻、
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

微信桌面版如何同时登陆两个微信账号

方法一: 新建Windows批处理程序(*.bat):引号的里面的路径是实际上安装本地的微信程序路径,如果想同时启动多少个微信就写多少行的start代码 TASKKILL /F /IM wechat.exe start "" "D:\Program Files (x86)\Tencent\WeChat\WeChat.exe" start "" "D:\Program Files (x86)\Tencent\WeChat\WeChat.exe" 演示 方法二: 其中一个微信用客户端登陆,另一
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

地铁开发进度2

学习调用百度API的知识
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

反调试——jmp到那个地址

目录 1.前言 2.原理讲解 3.代码实现 前言 这节的反调试是通过构造代码来干扰正常的分析。反调试参考CrypMic勒索病毒 原理讲解 在逆向分析汇编代码时,一般都是通过汇编指令call或jmp跳到一个函数内进行执行,这次的反调试就是利用特殊构造代码实现指定跳转 在汇编中call address可以分解为两条指令:push eip+6,jmp address。这里的push eip+6是保存call指令的下一个指令地址作为返回地址,一般eip+6就是指向call指令的下一条指令,jmp ad
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

剑指offer数组1

面试题3:数组中重复的数字 在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的,但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如,如果输入长度为7的数组{2,3,1,0,2,5,3},那么对应的输出是第一个重复的数字2。 // 参数: // numbers: 一个整数组 // length: 数组的长度 // duplication:输出数组中的一个重复的数字 //返回值:
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

UOJ#104. 【APIO2014】Split the sequence 动态规划 斜率优化

原文链接www.cnblogs.com/zhouzhendong/p/UOJ104.html 题解 首先证明一个结论:对于一种分割方案,分割的顺序不影响最终结果。 证明:对于树 a[x] 和 a[y] ,如果 x 与 y 之间有分割,那么它们对答案的贡献就是 a[x] * a[y] ,否则无贡献。 于是问题转化成 DP: 设 dp[i][j] 表示把前 j 个数分成 i 段的最大收益,那么: 设 $$s[k] = \sum_{i=1}^{k} a[i]$$ $$dp[i][j] = \max_
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

ubantu/centos修改系统时间

前言:有时系统上的时间和真实的时间对应不是,或者有特殊需求,需要修改系统时间。但是对应多台的服务器系统更改时间,手动的话很麻烦,这就需要写脚本或者搭建时间服务器了,统一时间,以下是对于一个不同系统修改时间。 centos和linux上面: 1.修改时间 date -s "2018-04-09 18:56:00" 这是将时间设置为2018年4月9号晚上18点56分 修改,请参考上面的格式 2.写入硬件中 clock -w 即可 ubuntu上面 1.修改时间 date -s "2018-04-0
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

4-10

1、目前在大部分浏览器中,直接输出中文会出现中文乱码的情况,这时候我们就需要在头部将字符声明为 UTF-8。 2、HTML空元素 没有内容的 HTML 元素被称为空元素。空元素是在开始标签中关闭的。 <br> 就是没有关闭标签的空元素(<br> 标签定义换行)。 在 XHTML、XML 以及未来版本的 HTML 中,所有元素都必须被关闭。 在开始标签中添加斜杠,比如 <br />,是关闭空元素的正确方法,HTML、XHTML 和 XML 都接受这种方式。 即使 <br> 在所有浏览器中都是有效
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

图像数据增强 Data Augmentation

1.1 简介 深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下,可以通过数据增强(Data Augmentation)来增加训练样本的多样性, 提高模型鲁棒性,避免过拟合。 在计算机视觉中,典型的数据增强方法有翻转(Flip),旋转(Rotat ),缩放(Scale),随机裁剪或补零(Random Crop or Pad),色彩抖动(Color jittering),加噪声(Noise) 笔者在跟进视频及图像中的人体姿态检测和关键点追踪(Human Pose E
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

地铁开发进度3

回学校途中,未学习
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

lua tonumber

【1】应用tonumber函数 1 local function test(telnum) 2 local isLen = string.len(telnum) > 0 and string.len(telnum) < 7 and string.len(telnum) ~= 4 3 local value = tonumber(string.sub(telnum, 1, 4)) 4 local isReserve = (4 == string.len(t
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

结论题

题目描述 JOHNKRAM 最近在研究集合。他从 $[1,2n]$ 中任选了 $n$ 个不同的整数,组成了 $\binom{2n}{n} $ 个不同的集合。现在他想知道,在这些集合中,有多少个集合含有偶数个偶数?答案可能很大,你只需要告诉他答案 $\text{mod}\ 1000003$ 的结果即可。 $n\le 10^{18}$ 。 题解 结论题+Lucas定理 结论: 1. 当 $n$ 为奇数时,答案为 $\frac{\binom{2n}{n}}2$ ; 2. 当 $n$ 为偶数且为 $4
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

如何访问linux服务器上的mysql8.0

首先安装好了mysql-connector 1.1. 下载: 官网下载zip包,我下载的是64位的: 下载地址:https://dev.mysql.com/downloads/mysql/ 下载zip的包: 下载后解压:(解压在哪个盘都可以的) 我放在了这里 E:\web\mysql-8.0.11-winx64 ,顺便缩短了文件名,所以为 E:\web\mysql-8.0.11。 1.3. 生成data文件: 以管理员身份运行cmd 程序--输入cmd 找到cmd.exe 右键以管理员身份运行
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0

IDEA 2019.1 版本激活

0.0.0.0 account.jetbrains.com 0.0.0.0 www.jetbrains.com 需要向C:\Windows\System32\drivers\etc\hosts 文件写入以上的数据进行屏蔽联网,然后打开IDEA,使用以下激活码激活 56ZS5PQ1RF-eyJsaWNlbnNlSWQiOiI1NlpTNVBRMVJGIiwibGljZW5zZWVOYW1lIjoi5q2j54mI5o6I5p2DIC4iLCJhc
分类: 其他 发布时间: 04-10 22:44 阅读次数: 0