使用matplotlib在一张图上画多条曲线

做数据分析,还有机器学习的收敛性,准确性分析时,往往需要将一些数据图形化,以曲线的形式显示出来,下面
分类: 其他 发布时间: 03-21 23:13 阅读次数: 0

flink按照processTime处理流

1、日志类型offset = 8336399570, key = 10865354946, valu大数据
分类: 其他 发布时间: 03-21 23:12 阅读次数: 0

flink按照eventTime处理流

1、日志查找当前时间戳网站:http://coolaf.com/tool/unix要在时间戳后面加0大数据
分类: 其他 发布时间: 03-21 23:12 阅读次数: 0

java静态代码块、构造代码块、构造函数的执行顺序

1、代码class C{ C() { System.out.println(这Java
分类: 其他 发布时间: 03-21 23:12 阅读次数: 0

Redis遍历所有key的命令 SCAN

SCAN每次执行都只会返回少量元素,所以可以用于生产环境,不会阻塞服务器的问题。1、SCAN命令是一数据库
分类: 其他 发布时间: 03-21 23:12 阅读次数: 0

hive中的lateral view 与 explode函数的使用

大数据技术普及后,很多类似pv,uv的数据,在业务系统中是存贮在非关系型数据库中,用json存储的概大数据
分类: 其他 发布时间: 03-21 23:11 阅读次数: 0

scala单例对象和伴生对象的关系,伴生对象和伴生类的关系

1、单例对象和伴生对象的关系scala中的类不能定义静态成员,而代之以定义单例对象来替代。单例对象通Java
分类: 其他 发布时间: 03-21 23:11 阅读次数: 0

scala apply 和unapply方法的作用

1、apply的工厂作用,用于获取对象。2、unapply的提取对象参数的作用 ,用于模式匹配。/*
分类: 其他 发布时间: 03-21 23:11 阅读次数: 0

scala集合框架

一、集合简介#Scala中拥有多种集合类型,主要分为可变的和不可变的集合两大类:可变集合: 可以被修
分类: 其他 发布时间: 03-21 23:10 阅读次数: 0

scala 的上界下界

目录一、泛型(1)泛型的介绍(2)泛型类、泛型方法(3)示例1)定义泛型类2)定义泛型方法二、上界和
分类: 其他 发布时间: 03-21 23:10 阅读次数: 0

spark、storm消费kafka为啥不阻塞?消费kafka运行在每个excutor,还是运行在driver?

excutor端,每个task消费一个partition。1、dirct直接连接:即每个execut大数据
分类: 其他 发布时间: 03-21 23:10 阅读次数: 0

spark什么计算运行在excutor,什么算子运行在driver?

什么计算运行在excutor,什么算子运行在driver?(1)、foreachRdd运行在driv大数据
分类: 其他 发布时间: 03-21 23:10 阅读次数: 0

Spark on yarn工作模式。 Client和Cluster两种运行模式的工作流程、基本概念。spark工作流程

目录1、首先介绍yarn的模型图(1)、yarn 模型图(2)、yarn的流程如下:2、cluste
分类: 其他 发布时间: 03-21 23:09 阅读次数: 0

spark中excutor的个数、内存大小、core的个数、task的个数、分区的个数、集群的资源情况等的关系

目录1、Spark性能调优之资源分配大体上这两个方面:core mem(1)、分配哪些资源?(2)大数据
分类: 其他 发布时间: 03-21 23:09 阅读次数: 0

fink DataStream算子及案例

目录1、分类DataStreamkeyedStreamwindow Stream重要案例DataSt
分类: 其他 发布时间: 03-21 23:09 阅读次数: 0

cookie和session的原理

什么是会话跟踪技术在JavaWeb中,客户向某一服务器发出第一个请求开始,会话就开始了,直到客户关闭
分类: 其他 发布时间: 03-21 23:09 阅读次数: 0

Flink run 方式提交(生产环境在yarn集群上直接提交的方式)

1、案例#!/bin/bash########################. /etc/prof大数据
分类: 其他 发布时间: 03-21 23:08 阅读次数: 0

flink和spark的区别

1、spark本身是无状态的,所以我们可以把它看成一个rdd一个算子一个rdd的去处理,就是说可以看大数据
分类: 其他 发布时间: 03-21 23:08 阅读次数: 0

spark数据倾斜解决方案

1、适当提高reducer端的并行度适用场景:如果某个 Task 有 100个 Key ·且数据量特大数据
分类: 其他 发布时间: 03-21 23:07 阅读次数: 0

spark的jvm调优

1、实际应用val sc = new SparkContext(new SparkConf(). 大数据
分类: 其他 发布时间: 03-21 23:07 阅读次数: 0