一个简单的ETL脚本的内容

一个简单的ETL脚本应该包含如下内容 1.注释 2.设置字符集 3.基础路径参数 脚本路径 票据路径 日志路径 当前SHELL的脚本别名:declare SHELL_NAME=“${basename $0 |sed s/\./_/g}” eg:sss.sh =>sss_sh 票据文件 4.集群的相关认证 这些变量不做检查但是必须保证正确 client基础路径 source认证文件 kinit的路径 kinit的文件 5.检查程序传入参数 对参数个数的检查$# 对参数格式的检查 6.日志 日志的
分类: 其他 发布时间: 05-19 21:54 阅读次数: 0

傅里叶阀值去噪

# -*- coding: utf-8 -*- """Débruitage d’images par seuillage des coefficients de Fourier""" import numpy as np from matplotlib import pyplot as plt def thresholdimage_fourier(y,T,mode): """Applique un seuillage sur les coefficients de Fourier d'
分类: 其他 发布时间: 05-19 21:54 阅读次数: 0

Carrier Sense Multiple Access

Carrier Sense Multiple Access,载波侦听多路访问。CSMA/CD(Carrier Sense Multiple Access/Collision Detection),即载波监听多路访问/冲突检测方法和CSMA/CA(Carrier Sense multiple Access/Collision Avoidance),即载波监听多路访问/冲突避免,都是争用型的介质访问控制协议,位于数据链路层,前者用于有线网络而后者用于无线网络。 采用分布式控制方法,附接总线的各个结
分类: 其他 发布时间: 05-19 21:54 阅读次数: 0

HDLC

高级数据链路控制(High-Level Data Link Control或简称HDLC),是一个在同步网上传输 数据、面向比特的数据链路层协议,它是由国际标准化组织(ISO)根据IBM公司的SDLC(Synchronous Data Link Control)协议扩展开发而成的。 特点 1. HDLC是面向比特的数据链路控制协议的典型代表,该协议不依赖于任何一种字符编码集; 2. 数据报文可透明传输,用于实现透明传输的“0比特插入法”易于硬件实现; 3. 全双工通信,有较高的数据链路传输效率
分类: 其他 发布时间: 05-19 21:54 阅读次数: 0

SRS源码—— Thread笔记

SRS源码中的Thread是一层套一层,最终的Thread类是在 srs_app_thread.cpp 的 SrsThread 类 这里我们暂且先放下协程的概念,把它当线程来看,其逻辑如下: 1. 在start() 方法中创建线程: int SrsThread::start() { int ret = ERROR_SUCCESS; if(tid) { srs_info("thread %s alrea
分类: 其他 发布时间: 05-19 21:54 阅读次数: 0

CVE-2018-19824漏洞学习

简介 在Linux内核4.19.6之前,本地用户可以通过在Sound / USB /card.c.的usb_audio_probe中错误处理一个恶意USB声音设备(没有接口)来利用ALSA驱动程序中的一个UAF。如果USB声卡报告0个接口,将触发一个错误条件,函数usb_audio_probe错误输出。在错误路径中,存在一个在空闲后使用的漏洞,即首先释放卡的内存对象,然后减少活动芯片的数量。将减量移动到atomic_dec之上可以修复UAF。 补丁分析 补丁在这里:https://git.ke
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

ARTS打卡第9周

A:Longest Consecutive Sequence Hard 题目: Given an unsorted array of integers, find the length of the longest consecutive elements sequence. Your algorithm should run in O(n) complexity. 解析:提供一个无序数组,查找出这个无序数组中的最长连续子数组,对应的算法的时间复杂度是O(n) 思路: 1.将无序数组进行排序,
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

input.nextLine() 和input.next()

next()方法在读取内容时,会过滤掉有效字符前面的无效字符,对输入有效字符之前遇到的空格键、Tab键或Enter键等结束符,next()方法会自动将其过滤掉;只有在读取到有效字符之后,next()方法才将其后的空格键、Tab键或Enter键等视为结束符;所以next()方法不能得到带空格的字符串。 nextLine()方法字面上有扫描一整行的意思,它的结束符只能是Enter键,即nextLine()方法返回的是Enter键之前没有被读取的所有字符,它是可以得到带空格的字符串的, 但是若在in
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

编写类的操作步骤及编写测试类

编写类的操作步骤: 第一步:编写 类 语法格式:     [修饰符] class 类名{     } 第二步:编写 属性(也叫成员变量) 语法格式:     [修饰符] 数据类型 属性名称 [=值]   属性编写在类中   [ ]中的内容是可有可无的   属性名称也是标识符,建议采用驼峰命名法(见名知意)   当属性或成员变量没有赋值时,则是有默认值的,数据类型不同,则默认值不同:   整数类型默认值为:0   浮点类型默认值为:0.00   字符类型默认值为:\u0000   布尔类型默认值
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

Spring-Aop的两种代理方式

Spring-Aop两种代理方式: 1、JDK动态代理:用于目标类实现了接口; 2、Cglib动态代理:用于目标类没有实现接口; spring会依据目标类是否实现接口来选择使用哪种代理方式(目标类:相当于需要被增强的类); 模拟场景:目标类:步兵类,需要上战场打仗(手提精心打造的木棍) 通知类(增强类):高级商店类,只要有士兵来就免费提供(精心打造的暴风大剑) 代理工厂类:需要一个士兵来使用商店的东西(这样才能把士兵与商店联系起来,士兵与商店本来是单独存在的相互不知道) JDK动态代理实现:
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

01 Java基础语法

一、工具 for Java设置 1.1 NotePad++ for Java 1、在NotePad++中"设置"---"首选项" 2、"新建"---"格式"---"语言"---"编码" 备注:ANSI,美国国家标准,在不同的语言环境中代表不同的编码。 1.2 IntelliJ IDEA forJava 1、设置字体 2、设置快捷键 二、常量和变量 2.1 常量 1、常量的定义和分类 常量:固定不变的量 分类:   字符串常量:双引号引起来的一串字符,比方"Hello"   字符常量:单引号引起
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

在Android手机上学习深度学习的神奇方法

显然,时下最流行的信息学技术就是深度学习了。 深度学习(Deep Learning,DL)或阶层学习(hierarchical learning)是机器学习的技术和研究领域之一,通过建立具有阶层结构的人工神经网络(Artifitial Neural Networks,ANNs),在计算系统中实现人工智能。由于阶层ANN能够对输入信息进行逐层提取和筛选,因此深度学习具有表征学习(representation learning)能力,可以实现端到端的监督学习和非监督学习。此外,深度学习也可参与构建
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

MHA+keepalived集群环境搭建

整个MHA+keepalived集群环境搭建 1.1. 环境简介 1.1.1、vmvare虚拟机,系统版本CentOS6.5 x86_64位最小化安装,mysql的版本5.7.21, 1.1.2、虚拟机器的ssh端口均为默认22, 1.1.3、虚拟机的iptables全部关闭, 1.1.4、虚拟机的selinux全部关闭, 1.1.5、虚拟机服务器时间全部一致 ntpdate 0.asia.pool.ntp.org 1.1.6、3台机器的ssh端口为22 1.2、此次试验采用的是3台机器,机器
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

负能量收集--

难过的时候,摸摸自己的胸,告诉自己: 我是个男孩子,要坚强。 世上无难事,只怕有钱人。 岁月是把杀猪刀,可他拿丑的人一点办法也没有! 有些人出现在你的生活里,就是为了告诉你,你很好骗。 是不是常常有人让你注意细节,从小事做起,因为咱也做不了大事。 上帝如果关了你的一扇门,一定会同时夹一下你的脑子。 对别人生气一分钟,你就会失去60秒刷朋友圈的时间。 只因为在人群中多看了你一眼,你就以为我要打你车。 有人问我“你有没有被追过”,这不是搞笑嘛,昨天还有很凶的狗,追了我三条街。 刚才有10个人打我朋
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

深入研究JAVA架构,Dubbo分布式,JVM虚拟机,Redis集群,ActiveMQ中间件,Nginx服务器的核心技术点

一:分布式架构 高并发,高可用,海量数据,没有分布式的架构知识肯定是玩不转的所以分布式的知识需要掌握: 分布式架构思维 大型互联网架构演进过程 架构师应具备的分布式知识 主流分布式架构设计详解 架构开发基础 多线程开发 高性能NIO框架 架构核心服务层技术 服务的前世今生 深入理解通讯协议 基于分布式RPC解决方案 Dubbo全解析 架构关键基础设施 分布式环境指挥官Zookeeper 分布式消息通讯异步与MQ 分布式缓存 数据存储SQL&NoSQL 高冰分流技术Nginx 分布式架构实战 分
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

【python3】while和for的进阶案例

# Demo 1 # 求 1+2!+3!+...+20! 的和。 j = 1 sum_all = 0 while j <= 20: i = 1 sum = 1 while i <= j: sum *= i i += 1 # print(sum) sum_all += sum j += 1 print("1+2!+3!+...+20!的和是{}".format(sum_all))
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

安装TensorFlow等 tips

安装anaconda 下载Anaconda2-4.3.0-Linux-x86_64.sh安装文件 相关网站:https://www.continuum.io/downloads/     https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载好之后,在文件路径下执行以下命令: bash Anaconda2-4.3.0-Linux-x86_64.sh 接下来按照提示设置一些安装路径等参数,我安装的时候全部采用的默认路径。 安装完成之后,
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

小程序开发笔记【三】,评论、评论回复及消息通知实现

先看实现的效果图 评论及评论回复实现 分析 评论和评论回复可以设计成1张表也可以设计成2张表,根据使用场景的不同选择,这里我将评论和回复表设计成一张表,表结构如下 CREATE TABLE `tb_post_newcomment` ( `post_comment_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '说说评论表id', `group_post_id` int(11) DEFAULT NULL COMMENT '说说id', `ui
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

pwnable.kr-cmd1-witeup

执行分析程序,知过滤掉了flag、sh、tmp字段,但在linux下可通过通配符匹配文件哦。 哦对,参数输入的命令中,没有环境变量的支持,所有文件和命令必须用绝对路径哦。
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0

Tarjan水题系列(3):HNOI2006 潘多拉的魔盒

题目: 链接 大意: 盒子与盒子之间的关系构成一个有向图 求图上包含节点数最多的路径的节点数 思路: 有向图上求包含节点数最多的路径的节点数 可直接使用tarjan缩点后拓扑dp求得 在此不赘述 此题重点是如何判定盒子与盒子之间的关系 首先我们要有一个共识 盒子的起点一致 一个盒子包含另一个盒子相当于它可以走另一个盒子到不了的路 换句话说 一个盒子不是另一个盒子的下属当且仅当它能够到另外一个盒子走不到的地方 而与此同时此题的数据范围非常的小 所以我们可以有一点大胆的想法 判定两只笔谁真谁伪 我
分类: 其他 发布时间: 05-19 21:38 阅读次数: 0