kafka群起脚本

#!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo "********************$i************************ ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties" done };; "stop"
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

《异常检测》

一、基本原理 异常检测(Anomaly Detection或Outlier Detection)指的是通过数据挖掘手段识别数据中的“异常点”,如网络通信领域发现异常信息流。 二、可用方法 常见的算法: 概率与极值分析(假设数据分布并找到超过中心特定范围的数据) 线性模型(如PCA计算重构误差或者分析协方差矩阵的) 相似度模型(如ABOD,LOF、LOCI、LOOP和kNN等) 决策树集成(Isolation Forest、Feature Bagging) 基于SVM的方法如One-class
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

PTA 乙级 1012 数字分类 (20分)(测试点7无法通过)

很奇怪啊,测试点7一直无法通过 测试点8若无法通过,原因可能是没有考虑A2可能为0情况(进行过A2的计算,但和初始化0重复),利用标志位进行解决 1 #include<iostream> 2 #include<vector> 3 #include<cmath> 4 #include<iomanip> 5 6 using namespace std; 7 8 int main() { 9 /*正整数个数*/ 10 int n = 0; 11 /*A1
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

对Django的Delete请求被重定向到GET请求

前言:在做项目时,使用postman测试接口,url少了一个/,执行的是Delete请求,收到的却是GET请求的结果,加上/会正常响应。BUG很简单解决了,但是比较好奇为什么会被重定向。 控制台显示 INFO basehttp 124 "DELETE /essential/voltage HTTP/1.1" 301 0 INFO basehttp 124 "GET /essential/voltage/ HTTP/1.1" 200 237 可以看到请求自动进行了重定向。一开始以为是路由的问题
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

centos8网络配置问题

由于RHEL8与centos8基本一样,所以以下方法同样适用于RHEL8 在centos8上进行网络配置时,出现以下问题: 意思是无法找到network.service 出现错误的原因是centos8系统中默认是没有network.service,在centos8中系统使用NetworkManager接管网络, 顾名思义,nmcli就是NetworkManager的cli(命令行),因此在centos8中使用nmcli来管理网络。当然你也可以下回 network.service服务 以下使用的
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

python爬虫前(原理+抓包)

基本原理 爬虫的本质是模拟浏览器打开网页,获取网页中我们想要的那部分数据。爬虫就是获取网页并提取和保存信息的自动化程序,其主要有如下三个步骤: 获取网页:爬虫首先要做的工作就是获取网页,这里就是获取网页的源代码。源代码里包含了网页的部分有用信息,所以只要把源代码获取下来,就可以从中提取想要的信息了。爬虫首先向网站的服务器发送一个请求,返回的响应体便是网页源代码。Python中提供了许多库(如urllib、requests)来帮助我们实现这个操作,我们可以用这些库来帮助我们实现HTTP请求操作,
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

git clone出现curl 18 transfer closed with outstanding read data remaining的解决方法

缓存区溢出 curl的postBuffer的默认值太小 修改postBuffer的值 git config --global http.postBuffer 1083749826 命令查看postBuffer 是否配置成功 git config --list
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

英文同义词转换

https://github.com/kyletolle/synony.rb
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

《TF-Replicator, GPipe, Mesh-Tensorflow 三个库对比》

TF-Replicator, GPipe, Mesh-Tensorflow 三个库对比 使用场景 从使用场景来看, TF-Replicator 主要侧重于 data parallelism 的库。虽然也能支持 model parallelism,是基于 parameter server 实现的,用的人不多。 这点跟 TF 的 Distribution Strategies 是一样的,但是 tf-replicator 又略有不同: TF-Replicator 屏蔽 CPU, GPU, TPU 的
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

多个开发环境配置,测试版、生产版本等,具体看项目

cnpm install --save-dev cross-env outputDir: process.env.NODE_ENV === 'demo' ? "dist-demo" : process.env.NODE_ENV === 'production' ? "dist-dev" : "dist", "scripts": { "start": "vue-cli-service serve", "serve": "vue-cli-service serve", "build-dev": "
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

《TF-Replicator:研究人员的分布式机器学习》

TF-Replicator:研究人员的分布式机器学习 - 人工智能教育在 DeepMind,研究平台团队构建基础架构以增强和加速我们的 AI 研究。   在 DeepMind,研究平台团队构建基础架构以增强和加速我们的 AI 研究。今天,我们很高兴分享我们如何开发 TF-Replicator,这是一个软件库,可帮助研究人员以最小的努力和以前没有分布式系统的经验,在 GPU 和云 TPU 上部署他们的 TensorFlow 模型。 TF-Replicator 的编程模型现已作为 TensorFl
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

awk中执行Linux命令的两种方式

在使用awk处理内容时,有时会按行执行Linux命令,下面介绍两种执行Linux命令方式。 方式一 用system(): [root@localhost shell_script]# awk 'BEGIN {system("pwd")}' /root/shell_script [root@localhost shell_script]# test.log文件: [root@localhost shell_script]# cat test.log pwd ls which sh [root
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

02 . Shell变量和逻辑判断及循环使用

Shell变量 系统变量 在命令行提示符直接执行 env、set 查看系统或环境变量。env 显示用户环境变量,set 显示 Shell预先定义好的变量以及用户变量。可以通过 export 导出成用户变量。 一些写Shell脚本时常用的系统变量 $SHELL 默认 Shell $HOME 当前用户家目录 $IFS 内部字段分隔符 $LANG 默认语言 $PATH 默认可执行程序路径 $PWD 当前目录 $UID 当前用户 ID $USER 当前用户 $HISTSIZE 历史命
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

【Spring注解驱动开发】BeanPostProcessor在Spring底层是如何使用的?看完这篇我懂了!!

写在前面 在《【String注解驱动开发】面试官再问你BeanPostProcessor的执行流程,就把这篇文章甩给他!》一文中,我们详细的介绍了BeanPostProcessor的执行流程。那么,BeanPostProcessor在Spring底层是如何使用的?今天,我们就一起来探讨下Spring的源码,一探BeanPostProcessor在Spring底层的使用情况。 项目工程源码已经提交到GitHub:https://github.com/sunshinelyz/spring-anno
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

Mybatis--001

先了解一下软件开发常用结构 当然我们常用的是:三层架构 三层指的是: 界面层(表示层,视图层) 主要功能是接受用户的数据,显示请求的处理结果。使用 web 页面和 用户交互,手机 app 也就是表示层的,用户在 app 中操作,业务逻辑在服务器端处理。 业务逻辑层 接收表示传递过来的数据,检查数据,计算业务逻辑,调用数据访问层获取数据。 数据访问层 与数据库打交道。主要实现对数据的增、删、改、查。将存储在数据库中的数据提交 给业务层,同时将业务层处理的数据保存到数据库. 三层分别对应有相应的框
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

Hive(八)【行转列、列转行】

目录 一.行转列 相关函数 concat concat_ws collect_set collect_list 需求 需求分析 数据准备 写SQL 二.列转行 相关函数 split explode lateral view 需求 需求分析 数据准备 写SQL 一.行转列 相关函数 concat CONCAT(string A/col, string B/col…):对字符串按次序进行拼接 返回类 concat_ws concat_ws(string SEP, string A, string
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

【python】模块初识之time模块

模块导入: 1、将整个模块导入,例如:import time,在引用时格式为:time.sleep(1)。 2、将整个模块中全部函数导入,例如:from time import *,在引用时格式为:sleep(1)。 3、将模块中特定函数导入,例如:from time import sleep,在引用时格式为:sleep(1)。 4、将模块换个别名,例如:import time as abc,在引用时格式为:abc.sleep(1)。 time 时间模块 1、时间戳时间 #格林威治时间,flo
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

国产数据库操作系统强强联合,巨杉与银河麒麟完成兼容认证

近日,SequoiaDB巨杉数据库与麒麟软件完成技术兼容和认证工作,喜获麒麟软件NeoCertify认证。经双方共同严格测试,SequoiaDB 巨杉数据库V3.4与银河麒麟高级服务器操作系统(飞腾版)V10,能够达到通用兼容性要求及性能、可靠性要求,满足用户的关键性应用需求,为用户应用提供全面保障。 数据库和操作系统作为基础软件,在整体应用架构中占据重要的位置,承载着企业核心数据资产,体现企业的核心竞争力。而随着国家对重点行业“安全可控信息技术”的要求不断深化,也越来越强调基于国产生态环境下
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

《Skyline 监控系统工作原理分析》

Skyline 监控系统工作原理分析 Skyline 是一个实时的异常监测系统,它被动地接收 metrics 数据,并使用一系列算法自动地判断 metrics 是否异常,此外,用户可以很容易地根据自己应用数据的特点,提供自己的异常检测算法。 概述 Skyline 是一个实时的异常监测系统,它被动地接收 metrics 数据,并使用一系列算法自动地判断 metrics 是否异常,此外,用户可以很容易地根据自己应用数据的特点,提供自己的异常检测算法。Skyline 还提供了一个 web Ui 接口
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0

linux下操作命令

Linux的命令有几百个,对程序员来说,常用的并不多,考虑各位是初学者,先学习本章节前15个命令就可以了,其它的命令以后用到的时候再学习。 1、开机 物理机服务器,按下电源开关,就像windows开机一样。 在VMware中点击“开启此虚拟机”。 2、登录 启动完成后,输入用户名和密码,一般情况下,不要用root用户登录,因为如果产生了误操作,后果相当严重。 3、切换用户 su – root 按提示输入密码后切换到root用户。 从root用户切换到其它任意用户不需要输入密码,从普通用户切换到
分类: 其他 发布时间: 06-30 05:51 阅读次数: 0