大数据:Hadoop(简介)
一、简介 定义:开源的,做分布式存储与分布式计算的平台; 功能:搭建大型数据仓库,对PB级数据进行存储、处理、分析、统计等业务;(如日志分析、数据挖掘) Hadoop工作模块 Common:提供框架和工具,对其它Hadoop模块的支持; Distributed File System(HDFS:分布式文件系统):负责数据的存储; YARN:作业的调度及资源管理; MapReduce:基于YARN的并行处理框架; 二、Hadoop 功能模块 1)HDFS(分布式文件系统) 特点 可扩展,可容错
初识python - 函数(一)
5.1 三元运算 v = 前面 if 条件判断 else 后面 #等同于 if 条件判断 : 前面 if 条件判断: 后面 5.2 函数 本质 : 将N行代码拿到并另起名字,以后使用的时候方便调用。 应用场景 :多行代码重复, 函数最好控制在满屏内,多余代码可以使用函数分割。 5.2.1 函数基本结构 #def函数定义 #定义的函数名称 #()里面可以填型参,形参就类似于变量 def get_file (): #冒号结尾 #函数内容 get_f
基本操作——链表,字符串,树有用网站汇总有机会应该学习记忆
LeetCode像习题集,但是自己刷题过程应该还是建立起正常的知识框架,在常用的几种结构中有常用的基本操作需要掌握,不应忽视松懈 链表:创建插入删除之类的 https://www.cnblogs.com/newwy/archive/2010/10/10/1847456.html
MAC Address-Table Move Update Feature
MAC Address-Table Move Update The MAC address-table move update feature allows the switch to provide rapid bidirectional convergence when a primary (forwarding) link goes down and the standby link begins forwarding traffic. Figure 1. MAC Address-Tab
python pandas操作
# pandas 安装 # pip install pandas pip install xlrd(xls的读取) import pandas as pd # 加载excel 文件 # pd.read_excel(filename,sheet_name,header,nrows,usecols) # filename 文件路径 ,sheet_name 需要读取数据的表单名称,下标从0开始 ,header表头,默认为0,第一行,nrows 要读取的行数,usecols要读取的猎术 v =
python 配置文件读取configparser
import configparser cp = configparser.ConfigParser() # 实例化 cp.read("config.conf",encoding="utf-8") # 读取配置文件,允许读取多个配置文件,用列表 # section []里面的 获取所有的section f = cp.sections() print(f) print("--------------------") # option 选项,获取section为student下的所
初识python - 函数(三)
5.3.4内置函数 自定义函数 内置函数 其他 len open range id type 输入输出 输入输出 print input 强制转换 dict() list() tuple() int() str() bool() set() 数学相关 abs,绝对值 v = abs(-1) print(v) float() 转换成浮点型(小数, v = [1,2,311,21,3,] result = max(v) print(result) 找最大的值 max v = [1,2,311,21
「线段树」线段树板子 2
如题,已知一个数列,你需要进行下面三种操作: 1.将某区间每一个数乘上x 2.将某区间每一个数加上x 3.求出某区间每一个数的和 这道题要同时满足两个操作,加 和 乘,能满足这样操作的就是我们的Lazy(懒)操作了 唯一注意的地方就是,一定要乘法在加法前进行,若加法在乘法前,那么从父亲节点向下传递的时候乘法节点就会变得很奇怪了,这样会影响我们最终的结果 那么代码如下(草,复制粘贴销毁了我四个小时 //#define fre yes
#include <cstdio>
#define int
初识python - 函数(二)
5.3 函数小高级 a = 123 name = '老男孩好' nums = [11,22,33,4] data = nums def func(): pass # 100行代码 # func = 函数 5.3.1函数名当变量来使用 def func(): print(123) v1 = func func() v1() def func(): print(123) func_list = [func, func, func] # func_list[0]() # func_l
同步对象 队列 生产者消费者模式
多线程 同步对象 解决什么问题? 想要指定的一个线程先执行,再去执行其他线程 精华如下 #event = threading.Event()
# event.isSet():返回event的状态值;
#
# event.wait():如果 event.isSet()==False将阻塞线程;
#
# event.set(): 设置event的状态值为True,所有阻塞池的线程激活进入就绪状态, 等待操作系统调度;
#
# event.clear():恢复event的状态值为False。 imp
在vue中通过使用$attrs实现组件之间的数据传递
组件之间传递数据的方式有很多种,之所以有这么多种方式,是为了满足在不同场景不同条件下的使用。 一般有三种方式: 通过 props 的方式向子组件传递(父子组件) vuex 进行状态管理 非父子组件的通信传递 Vue Event Bus,使用Vue的实例,实现事件的监听和发布,实现组件之间的传递 本文介绍的是使用$attrs的方式。 这个api是在2.4版本中添加的,那么为什么要添加这个特性呢? 看看官网是怎么解释的
大数据技术之kettle(2)——练习三个基本操作
一、同一数据库两表数据关联更新 实现效果:把stu1的数据按id同步到stu2,stu2有相同id则更新数据 步骤: 1.在mysql中创建两张表: mysql>create database kettle; mysql>use kettle; mysql>create table stu1 (id int ,name varchar(20),age int); mysql>create table stu2 (id int ,name varcha
今日推荐
周排行