TiDB冷热存储分离解决方案
作者:Jellybean 原文来源:https://tidb.net/blog/387bd516 结论先行 TiDB 6.0正式提供了数据放置框架(Placement Rules in SQL )功能,用户通过 SQL 配置数据在 TiKV 集群中的放置位置,可以对数据进行直接的管理,满足不同的业务场景需要。如: 1.冷热分离存储,降低存储成本 TiDB 6.0正式支持数据冷热存储分离,可以降低SSD使用成本。使用 TiDB 6.0的数据放置功能,可以在同一个集群实现海量数据的冷热存储,将新的
关于HTAP与HSAP
作者:何朝洋 原文来源:https://tidb.net/blog/eade53a3 交易分析混合负载HTAP方兴未艾时,同时,还有一个新的概念在业界流转,即HSAP,Hybrid Serving & Analytical processing 服务分析混合负载。 1. 概念 在讨论HSAP之前,首先需要了解其概念中对服务与分析的区分。相当多从应用角度对数据处理分类的划分,大致分为Transaction交易与Analysis分析两大类,一类位于企业数据架构的上游用于生产数据,一类位于企业数据架
排查分析Empty regions 较大原因
作者:郭鹏霞 原文来源:https://tidb.net/blog/0b1b8ff3 问题背景: 通过granfan-->pd-->region health 图表监控到empty region 较多,且此集群目前业务并不多,数据量也很小,初始化时只创建了较表。 问题排查: 查看region merge相关参数: l max-merge-region-size: ##控制region merge的大小上限,当region大于指定值时pd不会将相邻的region合并(默认20) l max-me
springboot 中spring-data-redis报错:远程主机强迫关闭了一个现有的连接,如何解决?
1.报错信息如下:2.解决方案修改redis配置文件 redis.conf 中 tcp-keepalive 参数值vim /etc/redis.conf这里可以看到redis从3.2.1版本开始,默认设置是300秒,我们修改为60秒。在 Linux 系统中,客户端发送的最后一个数据包与redis发送的第一个保活探测报文之间的时间间隔,单位是秒。注意事项1.tcp-keepalive只在Linux生效,在其他系统不生效(比如 Mac),只按照其他系统内核自身的设置。2.
TiCDC系列分享-01-简述使用背景
作者:jansu-dev 原文来源:https://tidb.net/blog/70588c4c 一、项目背景 如 PingCAP 官网 所述,TiCDC 的使用场景主要有 “数据库灾备” 及 “数据集成”。熟悉 TiDB 周边生态的爱好者一定知道 “TiDB Binlog” 这一与 TiCDC 功能相似的工具,那么为什么要重复工作呢? 答案是 “TiDB Binlog” 无法存在以下(非全部)种种问题,对于 “TiDB Binlog” 还不熟悉的伙伴参考 TiDB Binlog 简介: 1.
大厂面试真题解读:Tomcat的连接器是如何设计的?
导读为什么要学习Tomcat的设计思路,对我们这些 crud 工程师有用吗?现代背景下,我们不仅可以学到Tomcat的架构,学会从宏观上怎么去设计一个复杂系统,怎么设计顶层模块,以及模块之间关系。Tomcat总体架构Tomcat主要实现了2个核心功能:处理Socket连接,负责网络字节流与Request和Response对象的转化 加载和管理Servlet,以及具体处理Request请求因此Tomcat设计了两个核心组件:连接器(Connector):负责对外交流 容器(Conta
6.0体验:TiKV重启后leader均衡加速
作者:闫彬彬 原文来源:https://tidb.net/blog/72df3228 1 前言 为了均衡资源使用TiDB初始化后默认会创建region-scheduler、leader-scheduler、hot-region-scheduler 三个调度器分别用于磁盘容量、计算和访问热点的均衡调度,TiDB会根据计算的分值,将region follower或leader从高分值tikv调度到低分值tikv,使各节点尽量达到均衡状态,以充分利用各节点资源。 2 region调度和限制 regi
放弃密码模式吧,最先进的Spring Cloud认证授权方案在这里
旧的Spring Security OAuth2停止维护已经有一段时间了,99%的Spring Cloud微服务项目还在使用这些旧的体系,严重青黄不接。很多同学都在寻找新的解决方案,甚至还有念念不忘密码模式的,别想了,已经凉透了。今天看到这篇文章的同学有福了,问题将在这里得到解决。仓库地址:https://github.com/NotFound403/id-server方案目前这应该是Spring生态中最新的解决方案,没有之一。先看下流程,微服务无关的其它的组件这里先屏蔽了,剩下图的几个组件:
时间类有多复杂,JDK竟设计了三版?
(一)概述时间类一直是代码开发中经常用到的东西,时间类在JDK中刚出现到国内最常用的1.8版本,一共迭代了三次。分别是Date类、Calendar类和LocalDateTime类。虽然JDK在更新,但是我看到很多的项目还是用着最初的Date类,这期就来讲一下三代时间类的区别。(二)Date类Date类是JDK1.0时期推出来的第一代时间类,Date类最常用的方式是对获取当前时间,并使用SimpleDateFormat对时间进行格式化,代码如下:Date date = new Date();
TiDB 6.0 Book Rush | TiDB 和 Python 的 CRUD 应用开发实践
作者:严世超 原文来源:https://tidb.net/blog/ef4c1f65 本文将介绍如何使用 Python 对 TiDB 进行应用开发,并做简单的 CRUD 演示。对应 TiDB 6.0 Book Rush 的第二章。 测试环境 为了便于演示应用开发,本文将使用 TiDB 6.0 本地测试集群,以及 MariaDB Connector/Python,具体环境版本信息如下。 TiDB 6.0 Python 3.6.8 MariaDB Connector/Python 1.0.11 部
Spring Cloud Gateway 结合OAuth2提供UAA服务
微服务做用户认证和授权一直都是一个难点,随着OAuth2.0的密码模式被作废,更是难上加难了。今天胖哥群里的一个群友搭建用户认证授权体系的时候遇到了一些棘手的问题,这让胖哥觉得是时候分享一些思路出来了。两种思路通常微服务的认证和授权思路有两种:所有的认证授权都由一个独立的用户认证授权服务器负责,它只负责发放Token,然后网关只负责转发请求到各个微服务模块,由微服务各个模块自行对Token进行校验处理。 另一种是网关不但承担了流量转发作用,还承担认证授权流程,当前请求的认证信息由网关中继给下游
取而代之,以后不用再 new Date() 了
Date背景众所周知,在 1995 年,Brendan(JavaScript之父) 被网景公司安排了一个巨大而紧急的工作任务,用 10 天的时间来编写 JavaScript 语言。而日期处理是几乎所有编程语言的基本部分,所以JavaScript 也必须拥有它。这是一个非常复杂的领域,但留给作者编写它的时间却很短。最终Brendan选择了借鉴当时红极一时的java语言,从java.Util.Date日期实现中复制了 Javascript 的日期对象。坦率地说,这个实现很糟糕。事实上Jav...
深入分析mysql为什么不推荐使用uuid或者雪花id作为主键
前言:在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究竟有什么坏处?本篇文章我们就来分析这个问题,探讨一下内部的原因。一、mysql和程序实例1.要说明这个问题,我们首先来建立三张表分别是user_auto_key,user_uuid,user_random_key,分别表示自动增长的主键,uuid作为主键,随机key
tiflash 6.0 on k8s扩容与新特性实践
原文来源:https://tidb.net/blog/8c069774 概述 tiflash的升级与扩缩容已经有很多同学实践了,随着tidb的普及,这方面也不适合连篇累牍的描述,但是在这次测试6.0 on k8s的过程中也确实遇到了一些坎坷。本文首先讲解tiflash 6.0 on k8s扩容的注意事项,然后描述在新扩容的机器上的一些新特性实践。此次发布的新特性有不少处在实验特性的阶段,据说会在6.1 GA,生产环境可以等待6.1直接升级。 tiflash 6.0 on k8s扩容 我们有多个
今日推荐
周排行