1000亿文本信息,高并发MD5查询,这么大数据量的业务怎么弄?
==星球水友提问==沈老师,你好,想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务,(假设)根据身份证MD5查询身份证信息,目前有1000亿条数据,纯文本存储,前几天看你写LevelDB,请问这个业务能利用LevelDB内存数据库进行存储么?有没有其他优化方案?画外音:LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询,紧接着又来了
30亿日志,检索+分页+后台展示,你是否遇到过更奇葩的需求?
沈老师,你好,想请教一个数据库查询日志,前台页面显示的问题。需求:(1)按照某些特定检索条件查询日志;(2)通过前台Web页面查询并显示相关日志信息;(3)检索需求包含用户,时间段区间,类型等特定字段;希望做到:(1)查询速度尽可能快;(2)支持分页查询;目前方案:日志信息存储在Oracle中,根据日期对Oracle做了分区处理,每天生成一个分区表,每个分区表中的数据总量大概在1000W左右。在相
高速飞机上换引擎,MQ如何实现平滑迁移?
前几天,杨紫琼同学在知识星球提问,说公司要切换MQ,从一个旧的服务商升级为新的服务商,问有没有什么好方案。这个需求估计还挺普遍的,这里分享一些经验。一、MQ架构简述如上图,使用MQ异步通信,一般分为三层:消息发送方:使用MQ客户端生成消息。MQ-client::SendMsg(topic,msg);MQ服务:中转消息。消息接收方:使用MQ客户端消费消息。MQ-client::RecvMsg(top
内存KV缓存/数据库,可以选择它? | 1分钟系列
互联网业务,绝大部分场景,会使用缓存服务。《选redis还是memcache,源码怎么说?》《选redis还是mc,面试官究竟想考察啥?》《memcache内核的知识点,值得收藏》但有时候,确实会使用到进程内存缓存/数据库,这个时候,LevelDB就能派上用场了。啥是LevelDB?LevelDB是Google开发的,一个速度非常块的KV存储库(storagelibrary),它支持字符串的key
别人不写设计文档,我写了,所以我吃亏了?
《如何写技术文档?》的评论让人感到意外,一篇关于“如何写好设计文档”的文章,评论里充斥着各种戾气。不确定自己的理念,在互联网新时代,是否已经过时,似乎写文档成了少数派。无论如何,旗帜鲜明的表达一下自己的看法。本文所有观点均为个人观点,不存在任何“评判”,分享自己认为正确的观点。画外音:后文中的素材,截图自《如何写技术文档?》的评论,隐去了头像和名称。一、《如何写技术文档?》评论里,点赞最多的观点是
互联网公司的技术人,为什么不写文档?
互联网公司,技术侧,写文档有没有必要?有必要。要写什么文档?至少要写总体设计文档,详细设计文档。为什么不写?可能是没时间,可能是不会写,可能是不愿意写。本文试图分享一些经验,解决“不会写”的问题。总体设计文档,详细设计文档,应该包含什么内容?总设和详设都应该包含的部分:(1)需求:一般以产品的语言描述,这一块可以拷贝产品需求文档中的storylist部分;(2)名词解释(可选):非相关领域内的同学
【学在GOPS】阿里游戏高可用架构设计实践
本文根据〖GOPS2016 全球运维大会•深圳站〗李运华演讲整理而成,编辑同学为陈才@腾讯。欢迎关注“高效运维(微信ID:greatops)”公众号,以抢先赏阅干货满满的各种原创文章。讲师简介李运华十余年软件设计开发经验,经历了电信行业和移动互联网行业,曾就职于华为和UCWEB,先后担任软件开发工程师、系统分析师、架构师、技术leader等角色;现担任阿里巴巴移动事业群(原UCWEB)资深软件工程
数据库软件架构,到底要设计些什么?
一、基本概念概念一:单库概念二:分片分片解决“数据量太大”这一问题,也就是通常说的“水平切分”。一旦引入分片,势必面临“数据路由”的新问题,数据到底要访问哪个库。路由规则通常有3种方法:(1)范围:range优点:简单,容易扩展。缺点:各库压力不均(新号段更活跃)。(2)哈希:hash优点:简单,数据均衡,负载均匀。缺点:迁移麻烦(2库扩3库数据要迁移)。(3)统一路由服务:router-conf
写缓冲(change buffer),这次彻底懂了!!!
上篇《缓冲池(bufferpool),彻底懂了!》介绍了InnoDB缓冲池的工作原理。简单回顾一下:(1)MySQL数据存储包含内存与磁盘两个部分;(2)内存缓冲池(bufferpool)以页为单位,缓存最热的数据页(datapage)与索引页(indexpage);(3)InnoDB以变种LRU算法管理缓冲池,并能够解决“预读失效”与“缓冲池污染”的问题;画外音:细节详见《缓冲池(bufferp
学会聆听,职场最重要的事情,没有之一!!!
带领团队作战-聆听的层次大伙有没有遇到过这样熟悉的场景,员工好不容易鼓起勇气,找leader反馈一个问题,希望得到leader的帮助,系统得到leader的指导。leader会很快进入“过来人模式”,并开始“语重心长”的教导和指导。然后员工进入似懂非懂的“感谢leader”状态,并离开。画外音:帮助下属成长和提升,是leader的核心职责。leader的初心是好的,但这是否是最佳的方法?要更好的帮
编码风格:Mvc模式下SSM环境,代码分层管理
MVC模式与代码分层策略,MVC全名是ModelViewController即模型-视图-控制器,作为一种软件设计典范,用一种业务逻辑、数据、界面显示分离的方法组织代码,将业务逻辑聚集到一个部件里面,在改进和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑,这是一种开发模式,但并不是实际开发中代码的分层模式
今日推荐
周排行