大数据生态圈中压缩的使用
1.前言 在时下大数据场景中,虽然现在的机器的性能好,节点多,但是不代表,我们的数据就不需要做任何的压缩就开始处理,所以我们还是会对数据做压缩处理的,本文会详细的介绍大数据中常见的压缩格式,以及常见压缩的对比,和使用场景; 2.常用压缩格式介绍及对比 2.1 常见压缩介绍 压缩格式 文件后缀 gzip .gz bzip2 .bz2 LZO .lzo Snappy .snappy 2.2 常用压缩格式对比 2.2.1 测试准备 为了让压缩的对比更加明显,这里我准备一些测试的内容 机器环境性能 8
spark2.4 整合 hadoop2.6.0-cdh5.7.0 源码编译
1.前置要求 java 8 + maven 3.5.4 + scala 2.11 2.下载 spark2.4 源码包 在spark官网 下载页面中选择对应的spark版本和源码包 [hadoop@hadoop000 softwore]$ wget https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0.tgz
[hadoop@hadoop000 softwore]$ tar -zxvf spark-2.4.0.tgz -C ~
SparkConf && SparkContext详解
官方介绍 首先我从官网介绍中知道,我们在创建spark应用程序之前 需要先创建 SparkContext对象, SparkContext,会告知 spark 如何去访问集群,要创建SparkContext您首先需要构建一个包含有关应用程序信息的SparkConf对象。 The first thing a Spark program must do is to create a SparkContext object, which tells Spark how to access a clus
Stochastic Screen Space Reflections(一):理论
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wolf96/article/details/83021769 翻译了一篇PPT，源代码可以参考github这也是Lighting Box中StochasticSSR中的实现方法 -----by wolf96 https://blog.csdn.net/wolf96
Stochastic Screen Space Reflections(二):SSR
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wolf96/article/details/83032458 Stochastic SSR是在SSR基础上的改进，下面看一下SSR流程 整体流程：分块分类->Raymarching->卷积->处理反射(得到结果)->处理artifacts(解决噪声)->异步处理(优化) 计算反射hit位置 将屏幕分成16×16块tile 此处的采样分布引用了刺客信条黑骑的方法 黑旗算了一张Mask作为反射计算精
Stochastic Screen Space Reflections(三):实现与优化
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wolf96/article/details/83032610 必须在延迟管线下渲染，且在不透明后，半透明前渲染 本文在Xerxes1138的基础上进行改进 实现 Xerxes1138的实现比Siggraph2015的步骤省略了不少内容 少了Tile分类和Hi-Z Trace 首先逐个pass来看他的实现过程 Recursive Pass
//uv-速度(回到上一帧uv)
float2 pre
Lighting Box2源码分析系列
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wolf96/article/details/83349245 Lighting Box2源码分析(一):整体功能 Lighting Box2源码分析(二):Sun Shafts Lighting Box2源码分析(三):Depth Of Field景深 Lighting Box2源码分析(四):Global Fog全局雾
jmeter 后台运行 setsid bin/jmeter -n -t .jmx文件 -l .jtl文件
备注： 另外，在Linux下我们有时候希望线程可以在后台运行，这样我们关闭当前连接后，线程依然可以运行，这里提供一个将 jmeter命令设置为后台线程的方法。 使用setsid命令： setsid bin/jmeter -n -t .jmx文件 -l .jtl文件 setsid ./bin/jmeter -n -t .jmx文件 -l .jtl文件 有没有 ./ 当前目录的表示符都可以 本博客部分转载自http://blog.csdn.net/zhemeteor/article/details
linux系统下键盘按键的重新映射——xmodmap工具和xev工具
大家会不会有时候，感觉键盘上的某几个键用起来不是很方便，打字打久了很容易手指头疼呢？ 例如大家使用vim编辑器时， 经常需要使用到esc键，而该键在左上角，很不方便的。再比如写程序的时候，经常会使用到shift键与其它键的组合等。把键盘按键进行必要的重新映射，可以提高生产率的。对键盘按键重新映射的大致过程如下： 第一步，通过 xev 工具获得需要修改的按键的 keycode 值； 第二步，通过xmodmap工具修改由keycode到keysym的映射。（keycode与keysym的含义正文会
LA2572 Viva Confetti
题意 PDF 分析 两两圆求交点，对每个圆弧按半径抖动。 时间复杂度\(O(T n^2)\) 代码 #include<iostream>
#include<cstdio>
#include<cstdlib>
#include<cmath>
#include<set>
#include<map>
#include<queue>
#include<stack>
#include<algorithm>
#include<bitset>
#include<cassert>
#include<ctime
RSP小组——团队冲刺博客六
冲刺日期：2018年12月12日 各成员今日（12.12）完成的任务 马瑞蕃页面布局 李闻洲音乐代码的实现 赵乾宸，找bug，处理bug，使游戏滑动，消除实现 蒋子行会议记录 各个成员的任务安排 明日（12.13）任务安排 李闻洲对音乐代码的后台应用进行修改 赵乾宸，马瑞蕃对游戏代码的滑动进行修改 马瑞蕃编写博客，绘制燃尽图 中段总结会议 第一次中段总结会议，时间较短，任务较重。 会议时间：2018年12月12日下午19：30 会议地点：主楼912教室 会议内容：明确目标，对这两天遇到的问题进
字符型数据（初学者）
1、字符常量：字符常量是用单引号括起来的一个字符。例：‘a' 在C语言中，字符常量有以下特点：（1）字符常量只能用单引号括起来，不能用双引号或其它括号。 （2）字符常量只能是单个字符，不能是字符串。 （3）字符可以是字符集中任意字符。但数字被定义为字符型之后就不能参与数值运算。如'5'和5 是不同的。'5'是字符常量，不能参与运算。 2、字符变量：字符变量用来储存字符变量，即单个字符。字符变量的类型说明符是char。字符变量类型定义和书写规则都与整型变量相同。例：char a，b； 3、转义字
java 常量的位运算使用案例
在编码的过程中，有时因业务逻辑需要，一个关键字有多个数值，且在调用过程中，此关键字数值对应的各位数值有不同的业务需求，就需要对常量进行位运算； eg：有关键字status，其中（注：位指二进制运算对应的位）： 位1：是否被屏蔽？ 1-是，0-否 位2：是否包含视频？ 1-是，0-否 位3：是否审核通过？ 1-是，0-否 位4：是否已删除？ 1-是，0-否 位5：是否有过审核动作？ 1-是，0-否 位6：是否将帖子显示在未登陆状态下的列表中？1-是，0-否 可定义如下常量类： public cl
Spring 实战学习笔记（第三章 Bean的高级装配）
一、开发环境、测试环境与生产环境加载不同数据的配置方式 1.@Profile注解应用 @Profile注解配置方式， 1）配置在类上（只有prod或者dev profile激活时，才会创建对应的bean） package com.myapp;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
i
LOJ2542 PKUWC2018随机游走（概率期望+容斥原理）
如果直接dp，状态里肯定要带上已走过的点的集合，感觉上不太好做。 考虑一种对期望的minmax容斥：其中Max(S)为遍历完S集合的期望步数，Min(S)为遍历到S集合中一个点的期望步数。当然才不管怎么证，反正看上去非常优美。 设f[i][S]为由i节点出发的Min(S)，显然有f[i][S]=Σf[j][S]/di+1。暴力高斯消元复杂度就炸掉了。 注意到给出的是一棵树，现在连这个性质都没用到当然没法做。根据一个我没见过的套路，可以考虑把f[i]表示成a·f[fa]+b的形式
RSP小组——团队冲刺博客七
冲刺日期：2018年12月12日 各成员今日（12.12）完成的任务 马瑞蕃页面布局 李闻洲音乐代码的实现 赵乾宸，找bug，处理bug，使游戏滑动，消除实现 蒋子行会议记录 各个成员的任务安排 明日（12.13）任务安排 李闻洲对音乐代码的后台应用进行修改 赵乾宸，马瑞蕃对游戏代码的滑动进行修改 马瑞蕃编写博客，绘制燃尽图 中段总结会议 第一次中段总结会议，时间较短，任务较重。 会议时间：2018年12月12日下午19：30 会议地点：主楼912教室 会议内容：明确目标，对这两天遇到的问题进
今日推荐
周排行