常用调度工具Oozie、Azkaban、Airflow总结
调度的意义：调度时一个项目中必不可少的，项目中一般都会包括程序、hive脚本等多任务，我们一般把任务写到shell脚本中，最后通过调度工具把所有的任务串起来。airflow是一个可编程的工作流调度、监控平台。可分布式部署调用，基于DAG（本身没有队列功能，需要使用第三方组件，比如redis、rabbitMQ）,airflow用python进行编程开发，可以进行丰富的任务处理，包括bash命令的执行、python代码调用、发送邮件、发送Http请求等。airflow websever -D启动airf
spark的分区器hashpartitioner、RangePartitioner，分布式排序原理
spark大多数算子使用的都是默认分区器HashPartitioner，HashPartitioner会对数据的key进行 key.hascode%numpartitions 计算,得到的数值会放到对应的分区中，这样能较为平衡的分配数据到partition。RangePartitioner：它是在排序算子中会用到的分区器，比如sortbykey、sortby、orderby等。该分区器先对输入的数据的key做采样，来估算Key的分布，然后按照指定的排序切分range，尽量让每个partition对应的
1613. 最高频率的IP(入门)
描述给定一个字符串数组lines, 每一个元素代表一个IP地址，找到出现频率最高的IP。给定数据只有一个频率最高的IP样例样例1:输入 = ["192.168.1.1","192.118.2.1","192.168.1.1"]输出 "192.168.1.1"样例2:输入 = ["192.168.1.1","192.118.2.1","192.168.1.1","192.118.2.1","192.118.2.1"]输出 "192.118.2.1"代码实现p.
466.链表节点计数(入门)
描述计算链表中有多少个节点.样例样例 1: 输入: 1->3->5->null 输出: 3 样例解释: 返回链表中结点个数，也就是链表的长度.样例 2: 输入: null 输出: 0 样例解释: 空链表长度为0代码实现/** * Definition for ListNode * public class ListNode { * int val; * ListNode next; * Lis.
Spring XML Bean 标签基本属性
Spring XML Bean 标签基本属性1. 标签属性介绍：idbean 名称，默认为 类名；class 被代理类的 class；name:相当于 alias，bean 别名，多个别名用 ‘,’ 隔开；parent：首先 parent 并不指 bean 对象的继承关系，它是指的是 标签的继承关系，既一个 标签可以通过 parent 继承到另一个 标签的所有数据，避免一些重复数据的重复书写；scope：作用域，表示这个 bean 的作用范围，默认有 sing
SpringMVC 利用注解获取 Session 中的数据
SpringMVC 利用注解获取 Session 中的数据1. HandlerMethodArgumentResolver 的使用 通常来说，我们获取获取 Session 中的数据，比如 登录用户 LoginUserVO，都是在方法中注入 HttpSession，然后执行LoginUserVO attribute = (LoginUserVO) session.getAttribute(“login_user_key”); 来获取，因为用到的地方比较多，每次都得写重复的代码还得进行数据的转换就会很
初始化VUE项目Sorry, name can no longer contain capital letters
安装过VUE脚手架，创建项目vue init webpack vueDemoOne报错Sorry, name can no longer contain capital letters翻译了一下，意思就是项目名不能包含大写字母，本来想用驼峰命名但是不行呀，那就改成小写试下吧。vue init webpack vuedemoone，果然可以成功创建初识VUE记录下遇到的问题...
日常问题记录：idea配置JDK.The selected directory is not a valid home for JDK
我的JDK是原先配置的，之前在官网上下载的压缩文件，直接解压配置的。在eclipse和myeclipse中都可以用，最近换到idea。今天配置jdk选择的时候，提示JDK.The selected directory is not a valid home for JDK。百度了一下说是jdk没有安装成功，但是在其他开发工具上可以用啊，解决办法是重新下载了jdk的.exe文件，重新安装，配置环...
eclipse新建一个java项目，写一个小demo
打开eclipse，工具栏选择File--new---project,选择Java Project，Next,输入项目名称，选择项目文件夹。Finish
idea 提交svn一直loading
翻之前的工作日记，发现一个以前遇到的问题记录一下：idea 使用svn 问题:每次操作都提示输入用户名密码，之后就一直loading在文件夹中各种操作都没问题，idea中每次都提示输入用户名密码 一直loading，无法查看历史记录，更新也一直loading。idea中的其他项目都可以只有其中一个项目不行。百度了很多方法，也试了很多方法方法一：删除svn连接 重新连接、重新上传项目、重新checked out 检出-------不行方法二：idea-->file--
springboot 导出excel(一对多)
springboot 导出excel格式如下：ID姓名性别年龄地址科目分数1小红女23成都青羊区语文98数学99英语1002小青女25成都金牛区语文97数学98英语993小明男24成都武侯区1、pom.xml 引入poi依赖<!--poi--> <dependency> <groupId>org.apac
springboot 导入excel（数据批量导入）
springboot excel数据批量导入1、pom.xml 引入poi依赖<!--poi--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.1.0</version> </dependency> <dependency> <g
idea开发vue安装及基础配置
https://www.jianshu.com/p/dc087bf01475上面是参考网址，下面是我自己的操作1）idea安装vue.jsFile -> Settings -> Plugins -> Browse respositoties…搜索vue.js，右侧提示Install（截图时已安装，未安装会提示Install）。安装成功后需要重启IDEA。2）File Types: HTML 添加 *.vue类型File -> Settings -> Editor
学习日报 day01
原创链接通用学习工具注册一个博客csdn注册地址https://passport.csdn.net/login?code=publicmarkdown软件typora下载地址https://cloud.189.cn/t/yuQVza7VBJvy本地搜索软件everything下载说明everything 下载与安装_pyhui的技术博客-CSDN博客https://blog.csdn.net/ifubing/article/de
学习日报 day02
原创链接java环境名词解释JVM虚拟机（使用软件在不同的操作系统中中,模拟相同环境）JRE运行环境 (包含JVM解释器,完整的Java环境)JDK开发环境 （包含JRE + 库类 + 开发工具（编译器+调试工具））骨架结构公开类入口函数代码区注释单行注释 // 内容多行注释 /* 内容 */文档注释 /** 内容 */编译与运行javac 用作编译java 用作运行输出命令自动换行System.out.println();不换行Syst
学习日报 day03
原创老师链接计算机三大硬件cpu内存硬盘数据的单位bit 位1个bit就是计算机可以识别的一个0或者一个1Byte1Byte=8bit1GB1024MB标识符的命名约定标识符的命令见名知义多单词的命名单词拆分 userloginflag下划线分割法user_login_flag小驼峰命名法userLoginFlag大驼峰命名法UserLoginFlag标识符命名规定字下美元其后数组成元素
今日推荐
周排行