JAVA笔记（持续更新）
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83015416 1. StringUtils.leftPad() # 生成长度为多少位的数据，以什么进行补位
StringUtils.leftPad（数据，生成数据的长度，以什么补位）；
Hbase&Phoenix学习笔记（持续更新）
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83015302 1. 查看某张Hbase表在HDFS中的存储情况 ```
hadoop fs -ls /apps/hbase/data/data/h3c/log_suspect_track_history_spark/hadoop fs - ls /apps/hbase/data/data/h3c/log_suspect_tr
Hbase优化之RowKey设计
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83015594 1. Hbase的预分区 HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey。在数据写入时，所有数据都会写入这个默认的region。随着数据量的不断增加，这个默认的region会越来越大，当达到某个阈值会自动split成为2个region。
Postgres CopyManager and connection from Connection Pool
1. PG CopyManager的使用示例代码： package test.simple;
//You need to include postgres jdbc jar into your project lib
import org.postgresql.copy.CopyManager;
import org.postgresql.core.BaseConnection;
import java.io.FileInputStream;
import java.io.FileWr
使用GreenPlum/postgres的copy命令导出/导入数据
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83055550 1. COPY命令 1.1 postgres postgres的COPY命令可以快速的导出/导入数据到postgresql数据库中，支持常用的文件格式，如：txt、sql、csv、压缩文件、二进制格式等。特别适合批量导出和导入数据，速度比较快。 COPY TO把一个表的所有内容都拷贝到一个文件； COPY FR
Hbase优化之预分区设计
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83071617 1. 背景 HBase建表时默认只有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey。在数据写入时，所有数据都会写入这个默认的region。随着数据量的不断增加，这个默认的region会越来越大，当达到某个阈值会自动split成为2个region。此外，频繁的r
HDFS之常用命令（持续更新）
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83105432 1. 文件权限操作 # 设置文件或文件夹权限为所有用户都可以访问
hadoop fs -setfacl -m other::rwx /test/test.json
# 查看某个文件或文件夹权限
hadoop fs -getfacl /hebei_data/suspect_track_201807.csv
#
Spark本地开发环境搭建与远程debug设置
快速看完《Spark大数据处理 技术、应用与性能优化》前四章后，对Spark有了一个初步的了解，终于踏出了第一步，现在需要在Spark集群中做些测试例子，熟悉一下开发环境和开发的流程。本文主要总结了如何在本地使用Maven搭建开发环境以及如何进行远程debug。由于采用的Spark是今年5月24号才发布的Spark2.1.1，网上大多数例子都是Spark1.X，因此走了不少弯路，才搭建好开发环境。 一：版本概述 Spark版本：2.1.1 IntelliJ IDEA：2017.1.5 开发环境
Phoenix二级索引原理及Bulkload注意问题
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83186058 前言 最近在Hbase的使用过程中遇到了很多问题，通过各种查资料测试最终得到解决。趁此机会也对Hbase预分区及索引的原理作了一些较深入的学习，以便更好的使用Hbase及对数据库性能调优。 下面对Hbase的索引触发原理及Bulkload导入数据需注意的问题作了简要总结，希望能对大家起到一些帮助，共同学习进步。
Spark-submit方式提交spark任务
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83384065 1. 提交命令
export ALL_JARS='--jars /ljj/hbase/phoenix-4.10.0-HBase-1.1-client.jar,/ljj/hbase/phoenix-spark-4.10.0-HBase-1.1.jar,/ljj/hbase/phoenix-core-4.10.0
Apache Thrift学习
版权声明：版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lijingjingchn/article/details/83409477 1. Apache Thrift 是什么？ Thrift的全名叫做Apache thrift，是一款软件开发RPC框架，可以很高效地实现跨语言的RPC服务。最早由Facebook 开发，贡献给了Apache。通过接口定义语言（IDL），定义和创建服务，Thrift生成特定语言的可供server和client 访
Phoenix边讲架构边调优
一 基础架构详解 1 概念 讲调优之前，需要大家深入了解phoenix的架构，这样才能更好的调优。 Apache Phoenix在Hadoop中实现OLTP和运营分析，实现低延迟应用是通过结合下面两个优势： 具有完整ACID事务功能的标准SQL和JDBC API的强大功能 通过利用HBase作为后台存储，为NoSQL世界提供了late-bound, schema-on-read灵活的功能。 Apache Phoenix与其他Hadoop产品完全集成，如Spark，Hive，Pig，Flume和
Mybatis通用Mapper的使用
一、前言 使用Mybatis的开发者，大多数都会遇到一个问题，就是要写大量的SQL在xml文件中，除了特殊的业务逻辑SQL之外，还有大量结构类似的增删改查SQL。而且，当数据库表结构改动时，对应的所有SQL以及实体类都需要更改。这工作量和效率的影响或许就是区别增删改查程序员和真正程序员的屏障。这时，通用Mapper便应运而生…… 二、什么是通用Mapper 通用Mapper就是为了解决单表增删改查，基于Mybatis的插件。开发人员不需要编写SQL，不需要在DAO中增加方法，只要写好实体类，就
RTU数据采集终端的功能 RTU和DTU的区别
RTU英文全称 Remote Terminal Unit，中文全称为远程终端单元。负责对现场信号、工业设备的监测和控制。与常用的可编程控制器PLC相比，RTU通常要具有优良的通讯能力和更大的存储容量，适用于更恶劣的温度和湿度环境，提供更多的计算功能。那么rtu数据采集终端的功能有哪些，rtu和dtu的区别是什么呢? RTU数据采集终端的功能： 1、采集与传输一体化设计，性价比高 集传统工业RTU与全网通/4G/3G/2G数据传输功能于一体，实现采集、计数、控制、存储、报警及传输
5G频谱什么时候发布 年底或明年年初即将推出
5G频谱的划分方案，我国目前规划了3.4GHz-3.5GHz和4.8GHz-5.0GHz作为5G商用频段，目前可能的频谱规划方案是，中国电信和中国联通在3.5GHz获得100MHz，中国移动在2.6GHz有望获得100-150MHz，中国移动还将在4.9GHz获得100MHz。业内人士预测，我国5G频谱方案将于今年年底前推出。 5G到底将给我们的工作和生活带来什么?这要从科技技术的发展说起。从人类短短不足一万年有记载的历史上看，经济总量的增长与科学技术的发展相互促进，加速螺旋上升
JDK和Tomcat安装配置
JDK1.8：https://pan.baidu.com/s/18pshIIfkUdz-ekILM57qAw 提取码：ecac Tomcat：https://pan.baidu.com/s/1XHdH2L46vRQW97xAIGxnxg 提取码：o3sr JDK和Tomcat解压后放到D盘的program文件夹下
配置环境变量:
JAVA_HOME: D:\program\jdk1.8.0_45
TOMCAT_HOME: D:\program\apache-tomcat-7.0.34
CAT
【入门级】Docker基础介绍(一)
Docker发展 Docker目前有两个版本： 1.Docker EE：企业版 2.Docker CE：社区版 Open Container Initiative倡议，包含两个规范， 1.运行时规范：runtime-spec 2.镜像规范：image-spec 容纳容器镜像的站点： https://hub.docker.com/ Docker架构 Docker是C/S架构，通过https协议通信。daemon可以监听在套接字之上，默认只提供unix sock文件套接字，为了安全起见。它支持ip
VirtualBox使用vargant批量安装定制机器
工作中，很多时候的机器环境都是一样的。或者是你的开发环境需要打包到别人机器上，这种情况下，为了避免重复的劳动我们可以使用vagrant来减少这部分重复的劳动。 使用vagrant前我们要注意一下几点： 1.virtualbox的版本和vagrant的版本要对应 2.你的物理主机的主机名要确保是英文，防止出现编码问题 首先部署好环境，然后在virtualbox的安装目录找到你机器的名字。 PS：virtualbox的VM主机名字跟你控制台上显示的不是同一名字。 进入virtualbox安装目录，
今日推荐
周排行