巨杉Talk | 拒绝数据碎片化，原生分布式数据库灵活应对数据管理需求
2019年7月19-20日，以“运筹帷幄，数揽未来”为主题的DAMS中国数据智能管理峰会在上海青浦区成功举办。在DAMS峰会上，巨杉数据库为大家带来了题为“云架构下的分布式数据库设计与实践”的主题分享。微服务下数据库架构的演进应用开发从传统架构向分布式转型，最先面临改造的自然就是应用程序框架。如今的微服务框架已经非常成熟，其代表性架构往往包括协议处理、服务拼装、原子服务、以及底层持久化四层。业务逻
B. Email from Polycarp
B. Email from Polycarp time limit per test 3 seconds memory limit per test 256 megabytes input standard input output standard output Methodius received an email from his friend Polycarp. However, Polycarp's keyboard is broken, so pressing a key on i
「CSA Round #41」BFS-DFS
题目链接 戳我 \(Description\) 给出一个图的\(bfs\)序和\(dfs\)序，构造出一个满足条件的图,边的扫描顺序为读入顺序 \(Solution\) 这个题还是很简单的. 先来看看无解的情况:当\(bfs\)序和\(dfs\)序的第二个不同时无解,因为是按边的顺序遍历，所以前两个一点定一样. 对于\(dfs\)序,我们把他假设为\(b_1,b_2,b_3,b_4...\) \(->\)表示边 将\(b_1->b_2,b_2->b_3,b_3->b_4...\) 对于\(bf
[51nod 1681]公共祖先(dfs序+线段树合并)
[51nod 1681]公共祖先(dfs序+线段树合并) 题面 给出两棵n(n<=100000)个点的树，对于所有点对求它们在两棵树中公共的公共祖先数量之和。 如图,对于点对(2,4)，它们在第一棵树里的公共祖先为{1,3,5},在第二棵树里的公共祖先为{1},因此公共的公共祖先数量为2 把所有点对的这个数量加起来，就得到了最终答案 分析 \(O(n^3)\)的暴力不讲了，先考虑\(O(n^2)\)的做法 枚举点对复杂度太高，不可行。我们考虑每个节点x作为公共的公共祖先的次数。设树A上的节点x
商业爬虫学习笔记day6
一. 正则解析数据 解析百度新闻中每个新闻的title，url，检查每个新闻的源码可知道，其title和url都位于<a></a>标签中，因为里面参数的具体形式不一样，同一个正则并不能匹配并提取所有新闻的标题和url，如下图 target为确定值，在正则中可以写死，class也为确定值，在正则中也可写死，但class并不存在于所有的a标签中（自己的想法是写2个正则进行匹配（带class与否），最后将得到的数据汇总），mon里的数值也不一样，所以需要用正则匹配出来，到时候进行二次处理（若不需要的
校招真题练习022 数对(网易)
数对 题目描述 牛牛以前在老师那里得到了一个正整数数对(x, y), 牛牛忘记他们具体是多少了。 但是牛牛记得老师告诉过他x和y均不大于n, 并且x除以y的余数大于等于k。 牛牛希望你能帮他计算一共有多少个可能的数对。 输入描述: 输入包括两个正整数n,k(1 <= n <= 10^5, 0 <= k <= n - 1)。 输出描述: 对于每个测试用例, 输出一个正整数表示可能的数对数量。 1 def main():
2 n, k = map(int, input().split
简单的整数划分问题——两个小时的死亡挣扎
将正整数n 表示成一系列正整数之和，n=n1+n2+…+nk, 其中n1>=n2>=…>=nk>=1 ，k>=1 。 正整数n 的这种表示称为正整数n 的划分。正整数n 的不同的划分个数称为正整数n 的划分数。 Input 标准的输入包含若干组测试数据。每组测试数据是一个整数N(0 < N <= 50)。 Output 对于每组测试数据，输出N的划分数。 Sample Input 5 Sample Output 7 Hint5, 4+1, 3+2, 3+1+1, 2+2+1, 2+1+1+1,
python-day45_MySQL数据库5_面向对象
1， 函数编程：数据和逻辑分离 a= 123 b = 456 c = 789 def exc3(proc_name): callproc(xxx) return xxx def exc4(proc_name): callproc(xxx) return xxx 2，面向对象：数据和逻辑（属性和行为）组合在一起 class SqlHelper: def __init__(self): self.host = '' s
TensorFlow.环境_avx2
1、缘由： 按照之前的步骤，在Win10的笔记本上就是不行： 1.1、jupyter notebook的相关界面，如下图所示： ZC：感觉 应该还是 tensorflow的问题 1.2、然后 各种测试： ZC：这里 发现 随机数 出来的Sum结果是 0，感觉不太对（"Python3 -c ....."这条命令 一点反应也没有，也感觉怪怪的...）。但是 看版本 又觉得还行，应该是正常的... 于是 又换一种方式： $ python
>>> import ten
java使用json-lib库的json工具类. json lib 2.4及其依赖包下载
/** * 处理json的工具类，负责json数据转换成java对象和java对象转换成json * * @since 2012年7月4日22:36:43 * @author leaves,QQ：1330771552 */ public class JsonUtil { /** * 从一个JSON 对象字符格式中得到一个java对象 * * @param jsonString * @param pojoCalss * @return */ @SuppressWarnings("unchecke
服务注册发现(一) Consul 简介及 windows版本的安装与部署
Consul是一个用来实现分布式系统的服务发现与配置的开源工具。他主要由多个组成部分： 服务发现：客户端通过Consul提供服务，类似于API,MySQL,或者其他客户端可以使用Consul发现服务的提供者。使用类似DNS或者HTTP，应用程序和可以很轻松的发现他们依赖的服务。 检查健康：Consul客户端可以提供与给定服务相关的健康检查（Web服务器返回200 ok）或者本地节点（“内存利用率低于90%”）。这些信息可以监控集群的运行情况，并且使访问远离不健康的主机组件。 键值对存储：应用程
2019.7.22 vi编辑器的使用 Linux 常用命令
vi编辑器的使用：w /rot/newfile (保存所改写的指定文件） q:诺文件内容已经修改却没有保持，反使用“q"命令将无法成功退出，这时需要利用” q! " 命令强行退出 保存并退出： wq 修改及添加配置项 TPADDR:设置网络接口的IP地址 NETMASK：设置网络接口的子网掩码 static :手动配置 三种工作模式： 命令模式 输入模式 末行模式 ———————————————————————————————————————————————————————— Linux 常用
包、logging模块、hashlib模块、openpyxl模块、深浅拷贝
包、logging模块、hashlib模块、openpyxl模块、深浅拷贝 一、包 1、模块与包 模块的三种来源： 1、内置的 2、第三方的 3、自定义的 模块的四种表现形式： 1、py文件 2、共享库 3、文件夹（一系列模块的结合体），即包 4、C++编译的连接到Python内置的 2、模块的导入过程 先产生一个执行文件的名称空间 1、创建模块文件的名称空间 2、执行模块文件中的代码，将产生的名字放入模块的名称空间中 3、在执行文件中拿到一个指向模块名称空间的名字 3、什么是包 它是一系列模
hadoop知识整理（4）之zookeeper
一、介绍 一个分布式协调服务框架； 一个精简的文件系统，每个节点大小最好不大于1MB； 众多hadoop组件依赖于此，比如hdfs，kafka，hbase，storm等； 旨在，分布式应用中，提供一个可靠的、可拓展的、分布式的、可配置的协调机制来管理整个集群的状态； 主要角色有：leader、follower、observer。 二、简单使用配置 安装很简单。一个tar包解压即可。 启动所需的配置文件为：zk安装目录/conf/zoo.cfg（需将安装包中原zoo_
JVM加载class文件原理
装载的概念 所谓装载就是寻找一个类或是一个接口的二进制形式并用该二进制形式来构造代表这个类或是这个接口的class对象的过程。 Java中类装载器装载类到虚拟机 在Java中，类装载器把一个类装入Java虚拟机中，要经过三个步骤来完成：装载、链接和初始化,其中链接又可以分成校验、准备、解析。 装载：查找和导入类或接口的二进制数据； 链接：执行下面的校验、准备和解析步骤，其中解析步骤是可以选择的； 校验：检查导入类或接口的二进制数据的正确性； 准备：给类的静态变量分配并初始化存储空间； 解析：将
oracle导出数据之edpdp
1、sqlplus下创建目录对象 2、expdp 用户名/密码 directory=data_dir tables=表名 dumpfile=日期_表名.dmp logfile=日期_表名.log query=表名：“where id = 1 注意：query后的特殊字符需要转义。\" \>= \' 导入数据参考：https://www.cnblogs.com/promise-x/p/7477360.html
shiro和spring和springmvc的集成
maven配置文件：pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</mo
Spark通信架构分析及总结
Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分。 Spark一开始使用 Akka 作为内部通信部件。在Spark 1.3年代，为了解决大块数据（如Shuffle）的传输问题，Spark引入了Netty通信框架。到了 Spark 1.6, Spark可以配置使用 Akka 或者 Netty 了，这意味着 Netty 可以完全替代 Akka了。再到 Spark 2, Spark 已经完全抛弃 Akka了，全部使用Netty了。 为什么呢？官方的解释是： 1) 很多Sp
今日推荐
周排行