spark-Job，stage，Task等一些基本概念
Spark 将任务以 shuffle 依赖(宽依赖)为边界打散，划分多个 Stage. 最后的结果阶段叫做 ResultStage, 其它阶段叫 ShuffleMapStage. 1.从后往前推理，遇到宽依赖就断开，遇到窄依赖就把当前RDD加入到该Stage 2.每个Stage里面Task的数量是由该Stage中最后一个RDD的Partition的数量所决定的。 3.最后一个Stage里面的任务类型是ResultTask，前面其他所有的Stage的任务类型是ShuffleMapTask。 4.
linux中查看和终止进程的命令
一、查询进程 1.top top 运行中可以通过 top 的内部命令对进程的显示方式进行控制： N – 以 PID 的大小的顺序排列表示进程列表 P – 以 CPU 占用率大小的顺序排列进程列表 M – 以内存占用率大小的顺序排列进程列表 q – 退出 top 2.ps -a 显示现行终端机下的所有进程，包括其他用户的进程。 u 以用户为主的格式来显示进程状况。 x 显示所有进程。
清北学堂-贪心-bfs
输入样例： 3
5 10 5
4 10 8 1 10
1 3
1 4
1 5
1 3
2 1
2 5
4 3
4 3
4 5
5 1
1 4
4 6
1 9
4 7
2 9
5 10 5
2 8 8 10 10
2 1
2 3
3 2
3 4
3 1
3 2
3 4
4 1
5 4
5 1
1 4
2 3
4 7
3 10
1 5
5 10 5
9 9 8 2 1
1 5
1 5
2 1
2 4
2 4
2 4
Quadratic equation（二次剩余定理）
题目描述 Amy asks Mr. B problem B. Please help Mr. B to solve the following problem. Let p = 1000000007. Given two integers b and c, please find two integers x and y(0≤x≤y<p)(0 \leq x \leq y < p)(0≤x≤y<p), such that (x+y) mod p=b(x + y) \bmod p = b(x+y)
Java面试题整理（题目内容非原创）
面试题分类 1、java 基础面试题 Java基础中对于io 中文件的读、写，util中的list map set这些要分清楚 还有线程、socket 都需要了解下 参考链接：http://blog.csdn.net/jackfrued/article/details/44921941 2、数据库的面试题 参考链接：http://blog.csdn.net/zhanghaotian2011/article/details/8904365 3、Js、jsp面试题 Js问题一般会问ajax的原理
设计模式-第六篇之代理模式
1、什么是代理模式 客户端代码不能或不想直接访问被调用对象，比如某个目标对象需要的功能还不足以被客户端使用，而是需要额外创建一个代理对象返回给客户端使用，这种设计方式就是代理模式。 2、典型的应用：延迟加载内嵌对象、AOP动态代理
学习shell第二天
重定向与管道符 1、重定向 程序 = 指令 + 数据 命令 变量 在程序中，数据如何输入？ 又如何输出？ 数据输出：键盘 -- 标准输入？ 又如何输出？ --stdin echo "123456"|passwd --stdin "username' 例如: 功能添加用户 useradd.sh user.txt文本文档1000个用户 ./useradd.sh a
Java 算术运算符号总结
6大运算符 1.算术运算符：（+ - * / % ） 同级顺序与数学无异议 2.赋值运算符 ： = (1）赋值运算符的优先级低于算术运算符,遵循从右到左 （2）不要将赋值运算符与相等运算符“==”混淆 3.关系运算符：（1）>、<、>=、<= （2） !=、== 4.条件运算符 ：？： 是一种三目运算符 5.逻辑运算符 ：（&& ,||, !）(与或非) 同级 ！> && > || 6.位运算符: (1) &：11为1，其余为0 |：有1为
创建模式 -- 建造者模式
一、小案例分析 1、功能需求： 现需要建房子，建房流程：挖地基、砌墙、封顶。对于不同种类的房子（高楼，别墅），流程虽然一样，但是具体功能实现不同。如何实现建房子？ 2、小菜鸡的答案： （1）定义一个抽象接口，并定义三个抽象方法（挖地基、砌墙、封顶）。 （2）对于不同种类的房子，实现该接口，并重写相关方法即可。 （3）代码实现： package builder.pattern;
/**
* 测试类
*
*/
public class BuilderDemo {
Python中print用法里面% ，"%s 和 % d" 代表的意思
Python 编程 里面% 、 "%s 和 % d" 代表的意思 %s,表示格化式一个对象为字符 %d,整数 "Hello, %s"%"zhang3" => "Hello, zhang3" "%d"%33 => "33" "%s:%d"%("ab",3) => "ab:3" %字符：标记转换说明符的开始。 在%的左侧放置一个字符串（格式化字符串），而右侧则放置希望格式化的值。 %s表示格式化规则 1、 '%s plus %s equals %s' % (1,2,2) Out[29]: '1 p
用css设置a标签无效，让链接跳转失效
这个代码有个坑，就是如果a标签里面放了一个图片，然后给a标签设置这个样式，这个时候是不起效果的，只能在a标签外面包一个div，然后给div设置这个样式 pointer-events:none; 这个是 css3 的代码，这句代码可以把 onlick 事件去掉，相当于变为普通文本
学习shell第三天
编程原理： 1、编程介绍 早期语言： 驱动 硬件默认是不能使用的； 不同的厂家硬件设备之间需要进行指令沟通，我们需要驱动来进行"翻译"； 更趋近与硬件开发的工程师，要学习"汇编语言"；而"汇编语言"被厂家所限制；C C++的底层语言就是汇编语言； 现在编程： 基于高级语言，以及超高级语言，更好的让程序员能够的实现编程功能； 编程语言的分类： 高级语言、超高级语言需要翻译成计算机可读的语言（二进制指令） 解释型 --
2019杭电多校第七场 HDU - 6656 Kejin Player——概率&&期望
题意 总共有 $n$ 层楼，在第 $i$ 层花费 $a_i$ 的代价，有 $pi$ 的概率到 $i+1$ 层，否则到 $x_i$($x_i \leq 1$) 层。接下来有 $q$ 次询问，每次询问 $l$ 层到 $j$ 层的期望代价。 分析 这种期望具有可加性，因此，维护一个前缀和 $sum[i]$：从 $1$ 到 $i$ 的期望。 设从 $i$ 到 $i+1$ 的期望代价为 $E$，则有 $E = a_i + (1-\frac{r_i}{s_i})(sum[i]-sum[x_i]+E)$ 解
Leetcode-dfs & bfs
102. 二叉树的层次遍历 https://leetcode-cn.com/problems/binary-tree-level-order-traversal/ 给定一个二叉树，返回其按层次遍历的节点值。 （即逐层地，从左到右访问所有节点）。 解： 利用队列实现bfs，从根节点开始入队，如果左右子树不空，就入队。把每层的所有节点都遍历完了，下一层的最左节点再出队。（用for循环控制即可，因为在开始遍历新的一层之前，queue中只存了这一层的全部节点，batch process）。O(N) #
学习shell第四天
一、grep程序 1、linux下有文本处理三剑客 -- grep sed awk grep：文本行过滤工具 sed：文本行编辑器（流编辑器） awk：报告生成器（做文本输出格式化） 2、grep 包含三个命令：grep egrep fgrep,他们是用来进行 行模式（pattern）匹配的 egrep = grep -E //使用扩展的正则表达式进行匹配 fgrep = fast grep //只使用文件通配符进行匹配 *gre
JVM——垃圾收集算法
1. 标记——清除算法： 最基础的算法，分为两个标记和清除两个阶段：首先标记所有需要回收的对象，在标记完成后统一清除。 两个不足： 1：标记和清除效率都不高 2：会产生大量不连续的内存碎片，可能导致以后无法给大对象分配内存； 2：复制算法： 复制算法将可用内存容量分为大小相等两块，每次只使用一块，当一块用完了，将还存活的对象一次性复制到另一块上，然后再把已使用的那一块直接清理掉。 在效率上大有提高，但是内存只用了一半，有点浪费。
SQLite 编译期授权回调Compile-Time Authorization Callbacks
SQLite 编译期授权回调Compile-Time Authorization Callbacks
今日推荐
周排行