《进击大数据》系列教程之hadoop搭建HA高可用集群

一、HDFS HA 集群规划
分类: 其他 发布时间: 02-28 12:49 阅读次数: 0

《进击大数据》系列教程之hdfs常用操作命令

一、HDFS常用操作命令查看根目录下的文件hadoop fs -ls hdfs://master:9999/ 或hadoop fs -ls /hadoop fs -ls -h hdfs://master:9999/ 或hadoop fs -ls -h / 增加-h参数,使文件大小可读,-d 只显示目录 -R 递归显示目录及文件创建目录hadoop fs -mkdir hdfs://master:9999/user 或hadoop fs...
分类: 其他 发布时间: 02-28 12:49 阅读次数: 0

《进击大数据》系列教程之MapReduce篇

一、MapReduce 安装(1)分布式计算概述访问 master:8088 查看yarn 是否启动成功。(2)验证mapreduce 是否安装成功运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。看到控制台有如下输出说明mapReduce 任务正在运行中,同时可以在yarn 监控界面上看到任务执行记录二、hadoop 序列化机制使用 hadoop 的 writeable 接口 实现序列化<dependency> ..
分类: 其他 发布时间: 02-28 12:48 阅读次数: 0

《进击大数据》系列教程之YARN篇

一、yarn 简介分布式集群的计算资源管理,包括对内存以及cpu的管理,也是符合主从结构,主ResourceManager 负责集群资源的调控,负责单个服务器上资源的管理。二、yarn的安装三、分布式计算概述四、yarn的资源调度机制五、yarn Capacity Scheduler 配置yarn application -list 查看当前正在执行的任务列表...
分类: 其他 发布时间: 02-28 12:48 阅读次数: 0

《进击大数据》系列教程之zookeeper基础

目录一、为什么需要zookeeper二、单机安装 zookeeper三、常用的zk命令四、使用ZooInspector 查看zookeeper五、zk数据模型六、安装分布式的zk七、分布式zk的特点一、为什么需要zookeeper分布式协调管理者,用于在进群的环境下,选举出主节点,当主节点挂掉了之后,会选举其他的nameNode作为主节点,以保证集群的高可用性。二、单机安装 zookeeper三、常用的zk命令ls 查看节点列表create...
分类: 其他 发布时间: 02-28 12:48 阅读次数: 0

社区关注列表响应体

{"code":0,"msg":"操作成功!","data":[{"id":21,"userId":"ZH20201118134209008798","actionId":"152","objectId":"921","actionType":9,"actionTime"...
分类: 其他 发布时间: 02-28 12:48 阅读次数: 0

Numpy matplotlib

文章目录NumPy Matplotlib图形中文显示绘制正弦波subplot()bar()numpy.histogram()plt()NumPy MatplotlibMatplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用,提供了一种有效的 MatLab 开源替代方案。 它也可以和图形工具包一起使用,如 PyQt 和 wxPython。1、Windows 系统安装 Matplotlib进入到 cmd 窗口下,执行以下命令:python -m pip install -U p
分类: 其他 发布时间: 02-28 12:47 阅读次数: 0

matplotlib实战

文章目录股票图股票图# 导入需要的库import tushare as tsimport matplotlib.pyplot as pltimport matplotlib.finance as mpf %matplotlib inline # 设置历史数据区间date1 = (2014, 12, 1) # 起始日期,格式:(年,月,日)元组date2 = (2016, 12, 1) # 结束日期,格式:(年,月,日)元组# 从雅虎财经中获取股票代码601558的历史行情quot
分类: 其他 发布时间: 02-28 12:47 阅读次数: 0

机器学习中的高数

文章目录导数与梯度下降组合数背后的秘密导数与梯度下降简单来说,导数就是曲线的斜率,是曲线变化快慢的体现。二阶导数就是曲线斜率变化快慢的反映。我们知道,如果函数z=f(x,y)在点P(x,y)处的导数存在,则函数在该点任意方向L上的偏导数都存在,并且有:∂(f)∂(l)=∂(f)∂(x)cosφ+∂(f)∂(l)sinφ∂(f)∂(l)=∂(f)∂(x)cosφ+∂(f)∂(l)sinφ其中φφ为X轴到方向L的转角。上述公式可用矩阵表述为:∂(f)∂(l)=(∂(f)∂(x),∂(f)∂(l
分类: 其他 发布时间: 02-28 12:47 阅读次数: 0

机器学习中的一些概率论

文章目录条件概率全概率公式贝叶斯公式极大似然估计 maximum-likelihoodML 中如何求极大似然函数条件概率P(B|A)=13 表示的意思为当A发生的时候,B发生的概率公式:P(B|A)=P(AB)P(A)P(AB)=P(B|A)∗P(A)=P(A|B)∗P(B)P(A|B)=P(B|A)∗P(A)P(B)全概率公式B1,B2,B3……Bn 为样本空间的S的一个划分则可以得到P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+……P(Bn)P(A|Bn)=∑ni=0P
分类: 其他 发布时间: 02-28 12:47 阅读次数: 0

机器学习中的线性代数------矩阵

文章目录主要内容SVD线性代数主要内容SVD线性代数
分类: 其他 发布时间: 02-28 12:46 阅读次数: 0

分类学习基础

机器学习的数据:文件csv数据集的结构:kaggle大数据竞赛平台、真实数据、数据量巨大uci专业数据集,覆盖了生活的方方面面scikit-learn数据量较小,方便学习。结构:特征值+目标值。房子面积、位置、楼层、朝向为特征值 房子面积 房子位置 房子楼层 房子朝向 目标值 样本1 数据1 80 9 3 0 80 样本2 数据2 100 9 5 1 ...
分类: 其他 发布时间: 02-28 12:46 阅读次数: 0

降维基础

降维:特征的数量 ,易混概念:维度:数组的维度1、特征选择是什么?选取部分特征当做最后分析得数据原因:冗余:部分特征相关性高,计算量大 噪声:部分特征对预测结果有影响主要方法:Filter (过滤式) Embedded(嵌入式):正则化、决策树 Wrapper(包裹式),不怎么用删除地方差特整:删除相似的特征。sklearn主成分分析PCA(主成分分析):特征数量达到上百的时...
分类: 其他 发布时间: 02-28 12:46 阅读次数: 0

机器学习相关算法基础内容

为什么要学习算法:算法是核心,数据和计算是基础。一、数据类型离散型数据:一个一个点组成的数据连续性数据:一系列连续的数(数轴上的一段)组成的数据,其y值称为概率密度,总体积分结果为1数据类型的不同应用类型不同------算法是有区别的二、机器学习算法分类监督学习:有特征值、目标值无监督学习:只有特征值1、监督学习: 分类(目标值离散)算法:k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络 回归(目标值连续)算法:线性回归、岭回归...
分类: 其他 发布时间: 02-28 12:45 阅读次数: 0

洛谷P2669金币

题目传送代码:#include<bits/stdc++.h>using namespace std;#define MAXN 10002int main(){ int n,i=1; int k = 1; cin>>n; unsigned long long ans = 0; while(k<=n) { for(int j=1; j<=i; j++) {
分类: 其他 发布时间: 02-28 12:45 阅读次数: 0

洛谷P4956

题目传送门#include<bits/stdc++.h>using namespace std;#define MAXN 10002int main(){ long long n; cin>>n; long long p,q; for(int i=100; i>=1; i--) { p = 364*i; q = 1092; if(n-p<0) {
分类: 其他 发布时间: 02-28 12:45 阅读次数: 0

洛谷P2615 神奇的幻方

题目传送门( 不写算法题果然退步了。。。(╥╯^╰╥) )代码如下:#include<bits/stdc++.h>using namespace std;#define MAXN 1002int arr[MAXN][MAXN];void outPut(int n){ bool f = false; for(int i=1; i<=n; i++) { f = false; for(int j=1; j<
分类: 其他 发布时间: 02-28 12:44 阅读次数: 0

洛谷P1319 压缩技术

题目链接代码:#include<bits/stdc++.h>using namespace std;#define MAXN 220int arr[MAXN][MAXN];int n;int x,y;void Fill(int num,int k){ int i,j;//cout<<x<<" "<<y<<" "<<k<<endl; j = y; for( i = x; i &
分类: 其他 发布时间: 02-28 12:44 阅读次数: 0

洛谷P1001 A + B Problem

题目传送门代码:#include <bits/stdc++.h>using namespace std;int main(){ long long a,b; cin>>a>>b; cout<<a+b<<endl; return 0;}
分类: 其他 发布时间: 02-28 12:44 阅读次数: 0

洛谷P1125 笨小猴

题目传送门代码:#include<bits/stdc++.h>using namespace std;#define MAXN 35int arr[MAXN];bool isPrim(int x){ if(x < 2) { return false; } if(x == 2) { return true; } for(int i=3; i<=sqrt(x); i++)
分类: 其他 发布时间: 02-28 12:44 阅读次数: 0