HBase物理、逻辑存储基本概念
HBase是一个分布式海量列式非关系型数据库系统，可以提供超大规模数据集的实时随机读写。何所谓列式存储？Mysql中在建表的时候需要规定好列，即便数据有个别列没有数据，但是Mysql也会给这些列预留存储空间，防止这些列的数据后续插入，这也是Mysql的存储机制。但是在HBase中，因为是列式存储，只有三个列有数据，那么这条数据就只有三个列，这样子很好的减少了存储空间的占用，提高利用率。同时存储时候也支持多列存储。一，HBase特点与应用特点：海量存储： 底层基于HDFS(..
HBase整体架构与常用Shell操作
一，HBase整体架构二，HBase常用Shell命令操作创建一张mytest表， 包含base_info、extra_info两个列族 向mytest表中插入信息，row key为 rk1，列族base_info中添加name列标示符，值为wang 向mytest表中插入信息，row key为rk1，列族base_info中添加age列标示符，值为30 向mytest表中插入信息，row key为rk1，列族extra_info中添加address列标示符，值为shang...
HBase读写原理与Region拆分合并
一，HBase读写原理深入HBase读流程meta表位于的位置信息查看>>>>HBase写流程首先从zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的region信息 找到这个region对应的regionServer，然后发送请求 把数据分别写到HLog（write ahead log）和memstore各一份...
Redis底层结构与缓存原理
Redis是一个Key-Value的存储系统，使用ANSI C语言编写。key的类型是字符串。value的数据类型有： 常用的：string字符串类型、list列表类型、set集合类型、sortedset（zset）有序集合类型、hash类型。不常见的：bitmap位图类型、geo地理位置类型。一，Redis key的设计将一个表，例如User表存入Redis中做缓存时，进行Key值的设计通常需要注意以下四个步骤：用:分割 把表名转换为key前缀, 比如: user: 第
Redis通信协议与事件处理
一，Redis通信协议Redis是单进程单线程的。 应用系统和Redis通过Redis协议（RESP）进行交互。Redis协议位于TCP层之上，即客户端和Redis实例保持双工的连接。串行的请求响应模式串行化是最简单模式，客户端与服务器端建立长连接 连接通过心跳机制检测（ping-pong） ack应答 客户端发送请求，服务端响应，客户端收到响应后，再发起第二个请求，服务器端再响应。这种模式下，消耗在网络协议的连接上，有问有答，性能很低。双工的请求响应模式该模式下批量请求，平凉反应.
Redis集群与分区
分区是将数据分布在多个Redis实例（Redis主机）上，以至于每个实例只包含一部分数据。分区的意义：1，性能的提升，单机Redis的网络I/O能力和计算资源是有限的，将请求分散到多台机器，充分利用多台机器的计算能力可网络带宽，有助于提高Redis总体的服务能力。2，存储能力的横向扩展，即使Redis的服务能力能够满足应用需求，但是随着存储数据的增加，单台机器受限于机器本身的存储 容量，将数据分散到多台机器上存储使得Redis服务可以横向扩展。一，范围分区根据id数字的范围比如1--10
java项目填坑笔记
2021年4月6日今天实现增删查改，总共有两个坑1、配置nacos不要把他放在与jdk相同的目录yaml语句一定要记得空格，不空格就报错2、关于Dao中命名的问题报错如下org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): com.yksx.dao.category.CategoryDao.queryExistCategory这是一个很容易忽视的点，记住：接口名与Mybatis
python移动文件：将一个文件夹中的特定后缀名的图片移动到另一个文件夹
写在前面在进行数据集的调用时，我发现别人的数据集的目录格式跟我不太一样。我不太想改变dataset中的代码。所以我就把图片移到我想要的目录结构中开干1、os.walk(top[, topdown=True[, οnerrοr=None[, followlinks=False]]]) ‘’’os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])top - - 是你所要遍历的目录的地址, 返回的是一个三元组(root,
训练图像原图与groundtruth不是一个格式的坑
前言在训练transUnet网络时，我想使用我自己的1.8w张copymove数据集。但是图像的原图是tif格式，groundtruth是png格式。所以在加载数据集时产出了许多坑！！！开始跳坑1、读取图片时的坑 def readImage(self): #print("读取图片") self.pic_root = self.data_root + "/Image/" self.gt_root = self.data_root + "/Mask_
Java打怪之路（三）---java中级
（三）面向对象高级知识3、1继承性3.1.1继承的实现class A extends (class) B3.1.2继承的限制1、java不允许多重继承 即 class A extends B,Cjava允许多层继承 即class B extends A , class C extends B*注意：*继承的层数一般不大于三层2、子类在继承父类时，严格来讲会继承父类中的全部操作，但是对于所有的私有操作属于隐式继承，所有的非私有操作属于显示继承。什么意思呢？就是讲B继承A，在B类
Java打怪之路（四）----java中级
（四）异常的捕捉和处理6.1处理异常public class TestDemo9 { //处理异常 public static void main(String args[]){ System.out.println("开始执行"); try{ int x=Integer.parseInt(args[0]); int y=Integer.parseInt(args[1]); Syste
postman测试新增接口中的坑！VO
(一)、使用postman测试接口1.1post请求方式的接口测试注意：因为我使用的是vo来将页面的参数传向变量中，所以在测试体body中，这里面的前面的参数与Vo文件中（VoProjectAdd）的参数名相同。
Java打怪之路---SpringBoot入门
（一）Springboot简介简化Spring应用开发的一个框架；整个Spring技术栈的一个大整合；J2EE开发的一站式解决方案（二）什么是微服务2014，martin fowler微服务：架构风格（服务微化）一个应用应该是一组小型服务；可以通过HTTP的方式进行互通；单体应用：ALL IN ONE微服务：每一个功能元素最终都是一个可独立替换和独立升级的软件单元；（三）相关配置3、1Maven配置在C:\Program Files\Java\apache-maven-3.6.3\
Java打怪之路---SpringBoot日志内容
（一）日志框架市面上的日志框架；JUL、JCL、Jboss-logging、logback、log4j、log4j2、slf4j…日志门面 （日志的抽象层）日志实现JCL（Jakarta Commons Logging） SLF4j（Simple Logging Facade for Java） jboss-loggingLog4j JUL（java.util.logging） Log4j2 Logback左边选一个门面（抽象层）、右边来选一个实现；
Java打怪之路---SpringBoot与Web开发
（一）简介使用SpringBoot；1）、创建SpringBoot应用，选中我们需要的模块；2）、SpringBoot已经默认将这些场景配置好了，只需要在配置文件中指定少量配置就可以运行起来3）、自己编写业务代码；自动配置原理？这个场景SpringBoot帮我们配置了什么？能不能修改？能修改哪些配置？能不能扩展？xxxxxxxAutoConfiguration：帮我们给容器中自动配置组件；xxxxProperties:配置类来封装配置文件的内容；（二）SpringBoot对静态资源的映射规
Java打怪之路-----JavaWeb之javaScript
前言2021年5月16日，开始学习javaweb。在经过springboot的学习之后，发现了自己学习的知识很少，知识的广度很浅。长风破浪会有时，直挂云帆济沧海！冲！（一） 什么是JavaScript
Java打怪之路-----JavaWeb之jQuery
（一）什么是jQuery什么是 jQuery ?jQuery，顾名思义，也就是 JavaScript 和查询（Query），它就是辅助 JavaScript 开发的 js 类库。jQuery 核心思想！！！它的核心思想是 write less,do more(写得更少,做得更多)，所以它实现了很多浏览器的兼容问题。jQuery 流行程度jQuery 现在已经成为最流行的 JavaScript 库，在世界前 10000 个访问最多的网站中，有超过 55%在使用jQuery。j Query
Java打怪之路-----JavaWeb之XML
（一）XML简介xml 是可扩展的标记性语言。（二）xml解析技术2.1什么是xml解析什么是解析，其实就是能够读取文件中的标签啊，内容啊这些东西。我们可以通过解析xml文件来获取到xml文件中的内容。xml文件是可以保存数据的，比如保存一个books类，里面有各种属性。通过解析技术，可以将这个类值赋给我们创建的实体类。2.2dom4j解析技术2.2.1dom4j 编程步骤：第一步： 先加载 xml 文件创建 Document 对象第二步：通过 Document 对象拿到根元素对象第三
今日推荐
周排行