记十亿级Es数据迁移mongodb成本节省及性能优化实践

某智能产品业务数据之前存储在Elasticsearch(Es)中,磁盘占用约30T(按照单副本计算),总数据量25亿,按照不同业务分类分别存在于不同表中。迁移前,业务存在较严重的性能及成本问题,当前业务已经迁移部分数据到mongodb中,迁移后效果明显,成本实现十倍级节省,业务抖动问题也得以解决。 当前我司已有数百亿Es数据迁移mongodb,同时也有数百亿mongodb迁移Es,根本原因业务就是选型错误引起。 本文以该场景业务迁移作为案例,主要分享以下方面的内容: mongodb适用场景及不
分类: 其他 发布时间: 05-23 12:28 阅读次数: 0

单片机的串行通讯就是排成一队走,并行就是排成一列走

单片机的串行通讯就是排成一队走,并行就是排成一列走///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///主要内容:串行口的结构、串行口的4种工作方式、多机通信、波特率的制定方法、串行口的应用。MCS-51单片机内部有一个全双工的异步串行口。全双工:双机通信之间可以同时实现发送数据和接收数据。异步:收发双方没有应用同一时钟来控制数据传送。传送的数据是以一帧一帧
分类: 编程语言 发布时间: 05-23 12:28 阅读次数: 0

单片机中在制定通讯协议时候,一定加入容错和重发机制

单片机中在制定通讯协议时候,一定加入容错和重发机制///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///一、TTL电平全双工(逻辑1: 2.4V--5V逻辑0: 0V--0.5V)1、硬件框图如下,TTL用于两个MCU间通信2、‘0’和‘1’表示二、RS-232电平全双工(逻辑1:-15V--5V逻辑0:+3V--+15V)1、硬件框图如下,RS-232用于
分类: 编程语言 发布时间: 05-23 12:27 阅读次数: 0

千亿级Mysql数据迁移mongodb成本节省及性能优化实践

线上某IOT核心业务集群之前采用mysql作为主存储数据库,随着业务规模的不断增加,mysql已无法满足海量数据存储需求,业务面临着容量痛点、成本痛点问题、数据不均衡问题等。 400亿该业务迁移mongodb后,同样的数据节省了极大的内存、CPU、磁盘成本,同时完美解决了容量痛点、数据不均衡痛点,并且实现了一定的性能提升。此外,迁移时候的mysql数据为400亿,3个月后的现在对应mongodb集群数据已增长到1000亿,如果以1000亿数据规模等比例计算成本,实际成本节省比例会更高。 当前国
分类: 其他 发布时间: 05-23 12:27 阅读次数: 0

关于单片机的led灯的二三事,初学者的开端

关于单片机的led灯的二三事,初学者的开端///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///一、点亮工作原理:如图,二极管阳极连接电阻,二极管阴极连接单片机引脚。D0对应P20,D1对应P21,,,,,,,都通过P2孔进行控制。二极管:电源正极连接到二极管阳极,负极连接到阴极,二极管正常工作。所以,原理图中,引脚为低电平,连接的是二极管的阴极,阳极通过与
分类: 编程语言 发布时间: 05-23 12:27 阅读次数: 0

掌握STC单片机程序烧录方法只需要三步走

掌握STC单片机程序烧录方法只需要三步走///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///今天我在这里和大家探讨一下关于51单片机怎么学这个话题。08年我在大学里学习单片机课程的时候,学习内容主要包括单片机的发展历史,单片机的框架,单片机的寄存器,以及单片机的操作指令,用汇编语言实现一些简单的功能。当时学习的时候知识课本知识,而又没有配套的开发板,可以让
分类: 编程语言 发布时间: 05-23 12:27 阅读次数: 0

这才是单片机44矩阵键盘控制数码管最简单的写法

这才是单片机4*4矩阵键盘控制数码管最简单的写法///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///第一次写,也算是对我研究了几天的代码做一个总结程序基于AT89S51芯片,两个573锁存器(控制段选位选)P3口接矩阵键盘,其中P3.0~P3.3接行线,P3.4~P3.7接列线,P0口接共阴极7段数码管。反转法的原理:反转法就是通过给单片机的端口赋值两次,
分类: 编程语言 发布时间: 05-23 12:27 阅读次数: 0

记某百亿级mongodb集群数据过期性能优化实践

某百亿级mongodb业务只保存近期7天的数据,由于数据量大、流量高,数据过期删除点比较集中,同时不能错峰方式解决问题,因此如何利用最小物理成本来满足业务需求就成为了本集群性能优化的难点。 通过几轮和业务配合调优,包括存储引擎调优、数据删除方式调优、业务错峰读写等,最终完美解决了业务痛点,达到ms级业务读写访问。 关于作者 前滴滴出行专家工程师,现任OPPO文档数据库mongodb负责人,负责数万亿级数据量文档数据库mongodb内核研发、性能优化及运维工作,一直专注于分布式缓存、高性能服务端
分类: 其他 发布时间: 05-23 12:26 阅读次数: 0

UEFI在ARM生态中现状如何?认证金标准介绍

UEFI在ARM生态中现状如何?认证金标准介绍///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///在大多数人心目中,ARM世界的BootLoader还被uboot+DeviceTree统治。是啊,uboot简单快捷,移植容易,为什么不用呢?但uboot有个显著的缺点:缺乏标准和互操作性。这让它更合适专用系统,而不是通用系统。在ARM多用于嵌入式设备,如摄像
分类: 编程语言 发布时间: 05-23 12:26 阅读次数: 0

关于RISC-V OS开发 1 OS启动,开始起飞

关于RISC-V OS开发 1 OS启动,开始起飞///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///QEMU模拟的是整个SoC,我们需要验证并调试OS,外设是必不可少的。QEMU会把bootloader映射到物理地址空间的0x1000-0xf000的这段ROM中,把RAM映射到0x8000000处。剩下主要是各种外设和支持QEMU自身。
分类: 编程语言 发布时间: 05-23 12:26 阅读次数: 0

让我们头昏脑涨的仿真、断点、ARM这些概念有什么用

让我们头昏脑涨的仿真、断点、ARM这些概念有什么用///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///ARM仿真器是干啥用的?许多刚入门嵌入式的同学可能会遇到新型色色的概念,比如仿真、断点、ARM等诸如此类的,要是不了解,只听这些概念,让我们头昏脑涨的同时,永远入不了嵌入式的门,所以我们要住一了解这些名词的定义、场景等方面,真正提升自己的嵌入式开发能力。今
分类: 编程语言 发布时间: 05-23 12:26 阅读次数: 0

DevOps 的基因是什么?

记得是2008年8月,Patrick Debois 和 Andrew Shafer 在加拿大多伦多的 “Agile Conference 2008” 种下了DevOps的种子。 时至今日,DevOps相关的工具、方法、理论、标准、咨询服务等一系列内容经过持续地发展和完善,已经形成了充满活力的社群,正在逐步发展成为为提升企业效能提供支持的生态。在这十余年间,众多大咖、牛人和组织为之付出努力,当然,也少不了我们中国DevOps同仁的积极参与和贡献,例如:中国信息通信研究院牵头,云计算开源产业联盟、
分类: 其他 发布时间: 05-23 12:26 阅读次数: 0

厂长说关于嵌入式当前的门槛和分工的变化

厂长说关于嵌入式当前的门槛和分工的变化///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///一、为什么要写这篇文章现在已经是2019年最后一个季度,单片机、ARM、嵌入式、Linux等技术也发展了有一些年头了,不是啥新鲜事物。社会上也积累了大量嵌入式相关的技术人才,嵌入式相关的技术、行业、学习方法相关的文章也是汗牛充栋。但是,火哥发现网络上介绍嵌入式相关的文
分类: 编程语言 发布时间: 05-23 12:26 阅读次数: 0

四步了解自动化连续测试

连续测试意味着在整个软件生命周期中对应用程序进行连续测试。作为CI/CD的关键组成部分,它应与其他部分一样实现自动化。 数字原生用户的需求和期望日益增长,促使企业不断通过新的,更好的功能和修复出现的漏洞来增强其软件。越来越多的组织开始采用敏捷开发,创建DevOps文化并实现持续集成/持续开发来满足响应速度更快的开发周期的需求。CI/CD支持每天甚至每小时进行一次软件更新,因此,它在需要快速周转的组织中变得无处不在。但是,实践CI/CD的组织不能为了速度而牺牲安全性。为了确保测试速度与CI/CD
分类: 其他 发布时间: 05-23 12:25 阅读次数: 0

成为嵌入式工程师必需要经历的八个阶段

成为嵌入式工程师必需要经历的八个阶段///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///第一阶段你要了解什么是嵌入式,了解嵌入式常见的操作系统有哪些,了解一个嵌入式项目的开发需要哪些阶段。第二阶段你要去学习C语言,而且能够在linux下进行vim编辑,进行C语言的编译。同时你要掌握linux基本的命令。如果在Windows下进行开发你需要学习虚拟机的搭建等
分类: 编程语言 发布时间: 05-23 12:25 阅读次数: 0

关于嵌入式的技术竞争力需要花点时间整理一下给大家

关于嵌入式的技术竞争力需要花点时间整理一下给大家///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///相信很多刚入行1-2年,甚至5年10年的嵌入式工程师都会有这些疑惑。我做的事情好像没有多少技术含量,我做的事情好像没有多少创新,做嵌入式的技术竞争力到底在哪?嵌入式到底是做驱动好还是做应用好?很多人说,嵌入式要学习很多很多的技能才能找到工作,既要懂硬件,还要
分类: 编程语言 发布时间: 05-23 12:25 阅读次数: 0

嵌入式工程师的现状,有人月薪3千,有人年薪快80万

嵌入式工程师的现状,有人月薪3千,有人年薪快80万///插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的,私信我就可以哦~点我头像黑色字体加我地球呺也能领取哦。最近比较闲,带做毕设,带学生参加省级或以上比赛///1嵌入式的定义和举例分析官方定义:根据IEEE(国际电气和电子工程师协会)的定义,嵌入式系统是“控制、监控或者辅助设备、机器和车间运行的装置”。这主要是从应用上加以定义的,从中可以看出嵌入式系统是软件和硬件的综合体,还可以涵盖机械等附属装置。目前国内一个普
分类: 编程语言 发布时间: 05-23 12:25 阅读次数: 0

【万字长文】一文看懂持续部署按需发布

大纲 一、前言 二、什么是部署与发布 三、什么是持续部署 四、持续部署实践 蓝绿部署 滚动部署 黑启动 五、按需发布实践 金丝雀发布 灰度发布 A/B测试 六、支持不同发布方式的技术实现 特性开关 特性分支 抽象分支 七、Facebook的案例 八、总结 一、前言 敏捷DevOps的一个主要目的是要达成持续的最短的周期进行价值交付,这就离不开快速的部署和发布。那么问题来了,部署和发布到底是一个概念还是不同的概念?有哪些常见的部署和发布策略? 本文将会剖析不同的概念,介绍不同的部署和发布的策略,
分类: 其他 发布时间: 05-23 12:25 阅读次数: 0

嵌入式系统概念以及嵌入式基础知识

嵌入式系统概念以及嵌入式基础知识\\\插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的(禾厶-亻言-手戈)。最近比较闲,带做毕设,带学生参加省级以上比赛///绿色图标【‟で】liutianwang123嵌入式基础知识1、嵌入式系统概念嵌入式系统是指以应用为中心,以计算机技术为基础,软件硬件可剪裁,适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。它主要由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户应用软件等部分组成。它具有“嵌入性”、“
分类: 编程语言 发布时间: 05-23 12:25 阅读次数: 0

嵌入式学了两年还是初级?你可能错过了嵌入式学习路线图

嵌入式学了两年还是初级?你可能错过了嵌入式学习路线图\\\插播一条:我自己在今年年初录制了一套还比较系统的入门单片机教程,想要的同学找我拿就行了免費的(禾厶-亻言-手戈)。最近比较闲,带做毕设,带学生参加省级以上比赛///绿色图标【‟で】liutianwang123在最近的近年来!随着科技树的不断进步,嵌入式系统产业规模持续的不断增长,作为IT业的里面重要新兴产业来说,现在的市场需求对嵌入式开发人才是非常大的,因此就出现了这样的一些情况,很多人通过去参加嵌入式培训来进军这个嵌入式行业。这也导致了出现另外一种
分类: 编程语言 发布时间: 05-23 12:24 阅读次数: 0