Spark GraphX图计算结构详解【图构建器、顶点、边】

一.图构建器   GraphX提供了几种从RDD或磁盘上的顶点和边的集合构建图形的方法。默认情况下,没有图构建器会重新划分图的边;相反,边保留在默认分区中。Graph.groupEdges要求对图进行重新分区,因为它假定相同的边将在同一分区上放置,因此在调用Graph.partitionBy之前必须要调用groupEdges。  1 package org.apache.spark.graphx 2 3 import org.apache.spark.SparkContext 4 i
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

大吉大利,晚上吃鸡!

刚才打了一会\(surviv\),真的爽连吃三把。。。 不皮了不皮了,我怎么可能打\(surviv\)这种东西呢? 关于这道题,我风骨傲天愿称之为天天爱跑步·改! 首先明确题意,对于任意的最短路径都必须经过\(A\)或\(B\)且不能同时经过。 不妨设\(f[i]\)表示经过\(i\)的最短路。 则一定有\(f[A]+f[B]=f[T]\)。 先不急着处理这个式子,我们先考虑整体问题的处理方式。 因为任意一条最短路一定经过\(A\)或\(B\),所以我们不妨任意抽出一条最短路来做。 我们发现,
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

数组中重复的数组Java实现[剑指offer]

题目 在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的,但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如,如果输入长度为7的数组{2,3,1,0,2,5,3},那么对应的输出是第一个重复的数字2。 题解 1通过排序实现 1.1描述 通过调用排序的方式,获得从小到大的数组,比较相邻的值是否相等,即可得到重复的元素,此时排序的时间复杂度为O(nlogn),空间复杂度为O(1) 1.2code 1 import java.
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

判断字符串中是否包含某字符子串

方法一:不断截取源字符串 1 String str1 = "nihaokogaokoshaokoxia "; 2 String str2 = "oko "; 3 int total = 0; 4 for (String tmp = str1; tmp != null&&tmp.length()> =str2.length();){ 5 if(tmp.indexOf(str2) == 0){ 6 total ++; 7
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

数据库设计心得--知青村

陈俊骐: 学会熟练的使用powerdesigner制作概念模型和物理模型,在亲自动手完善出一个15张表格的数据库设计后,发现自己能够更加深入的理解了数据库。在做数据库设计时应该着重考虑表格的意义,字段的类型和取值范围,做到能够拥有比较好的可拓展性。从实体的概率出发,分析需求中所需要涉及到的数据的实体是什么,关系是什么,将之分析清楚,才能做出一个比较好用的数据库。 另一方面,也更加熟悉了范式,在表以及字段设计好后,用第三范式的规则去判断其是否比较完善,减小后期因为表设计不合理的代价。另外,在对于
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

JS开发 女性最佳身材计算器 女性魔鬼身材计算公式

女性最佳身材计算器根据你输入的身高,即能得出最佳身材,根据东方女性的特征而定! 女性最佳身材计算器可以根据你输入的身高来计算上臂围,胸围,腰围下限,腰围上限,臀围,大腿围,小腿围。女性身材比例公式来计算女性的最佳身材,完美身材,魔鬼身材。效果如下 https://www.zxgj.cn/g/shencai 女性最佳身材计算器仅供参考,根据东方女性形象设计。目前网上能查到的理想身材的比例标准较多,这个女性最佳身材计算器根据黄金分割比来计算,具有普遍和代表性。打造完美身材,魔鬼身材,欢迎参考对照。
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

[LeetCode]21. 合并两个有序链表(递归)

题目 将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例: 输入:1->2->4, 1->3->4 输出:1->1->2->3->4->4 来源:力扣(LeetCode) 链接:https://leetcode-cn.com/problems/merge-two-sorted-lists 著作权归领扣网络所有。商业转载请联系官方授权,非商业转载请注明出处。 题解(转) 递归三要素: 终止条件:两条链表分别名为 l1 和 l2,当 l1 为空或 l
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

idea中安装git后,代码颜色代表的含义

idea中安装git以后,代码文件出现了不同的颜色 它们分别表示的含义: 绿色,已经加入控制暂未提交 红色,未加入版本控制 蓝色,加入,已提交,有改动 白色,加入,已提交,无改动 灰色:版本控制已忽略文件。 上传代码时的使用小心得: 添加提交时所需要过滤的文件,否则别人在拉取到本地的时候会报错,新建一个.gitignore文件,文件的位置要在父类工程中,不要添加在子项目中。文件内容如下 Created by .ignore support plugin (hsz.mobi) IntelliJ
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

阿里云经典网络迁移至VPC网络

前言   该文档全部摘自阿里云官方文档,个人只是整理了觉得有用的信息。    一、为什么要迁移至 VPC? 安全的网络环境 VPC 基于隧道技术,实现数据链路层的隔离,为每个租户提供一张独立、隔离的安全网络,不同专有网络之间网络完全隔离。 可控的网络配置 您可以完全掌控自己的虚拟网络,例如选择自己的 IP 地址范围、配置路由表和网关等,从而可以轻松地实现内网的网络资源规划以及路由表的路径选择。 阿里云本身也是不推荐使用经典网络。    二、迁移方案 不可以接受服务器重启。请选择混挂混访方案。
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

windows MinGW gcc 编译乱码问题

问题描述 一般很多编辑器默认都是保存成utf-8文件,然而在输出中文的时候出现了乱码?另外试了其他方法,有的乱码,有的不乱? gcc 有两条参数 -finput-charset 指定源文件的编码,-fexec-charset 指定多字节字符串(const char*)常量在编译后的程序里保存的编码集。 MinGW gcc 编译 utf-8 文件的时候乱码 MinGW gcc 编译 gbk 文件的时候正常 MinGW gcc 编译 utf-8 文件 -fexec-charset=gbk 显示中文
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

数据库设计心得----阿尔托莉雅

                     为数据库设计秃了头的阿尔托莉雅---- 潘亮                                                                         前几周我们阿尔托莉雅组设计了楹联数字博物馆的数据库,并且和中华楹联协会进行了数据库合并。   下面讲一讲我们数据库设计中的心得和体会。   首先我们应该按照之前做的需求分析文档,对着需求一个个的思考,数据库应该存什么数据才能完成这些需求,应该怎么去存这些数据。随着你
分类: 其他 发布时间: 11-08 21:01 阅读次数: 0

fatal error LNK1112: 模块计算机类型“X86”与目标计算机类型“x64”冲突

问题描述: VC++201x环境中,编译多个具有依赖关系的项目时,有时IDE会弹出如下的错误:fatal error LNK1112: 模块计算机类型“X86”与目标计算机类型“x64”冲突。 解决办法: 网上常规做法能解决90%,如果还没解决请看这个: (1)对于输出为***.exe的应用程序来说,可按下面方法解决:   属性>链接器>命令行。图中圈出来的%(AdditionalOptions) /machine:x64命令,如果有东西请删除。 (2)对于输出为***.lib的静态链接库来说
分类: 其他 发布时间: 11-08 21:00 阅读次数: 0

npm 学习笔记

一、介绍 1、是什么 npm 全称是 Node Package Manager,即 Node 包管理工具。 但是发展到后来,并不仅是适用于 node.js 的包。 所以现在看 node_modules 这个名字实在有点偏颇,现在 npm 自己都说自己是通用的包管理,并不局限于 node,然而这名字却不好改了。 npm 每周大约有 30 亿次的下载量,包含超过 600000 个包。 2、历史 npm 的发展是跟 Node.js 的发展相辅相成的。 Node.js 是由一个在德国工作的美国程序员
分类: 其他 发布时间: 11-08 21:00 阅读次数: 0

vue 动态渲染数据很慢或不渲染

vue 动态渲染数据很慢或不渲染 原因是因为vue检测速度很慢,因为多层循环了,在VUE 2.x的时候还能渲染出来,1.x的时候压根渲染不出来。 解决方式: 在动态改变数据的方法,第一行加上 this.$forceUpdate(); 就可解决渲染慢or渲染不出来的问题
分类: 其他 发布时间: 11-08 21:00 阅读次数: 0

一图迁移数据库设计心得——咸鱼队

数据库设计心得 分析需求 数据库设计首先要先明确需求,数据库的整个设计流程中从设计到最后检验都要始终注意数据完整性约束,包括实体完整性,引用完整性,域完整性,用户定义的完整性(业务规则约束) 数据来源 在设计数据库之前,先从需求文档中提取数据库设计应该包含的数据,按照对需求的理解,数据库中的数据主要有三个来源。 第一: 系统初始化需要导入的数据 第二:用户存储数据 第三:软件通过对上述两个数据的处理得出来的新数据 数据去向 数据库中数据的输出主要有两个去向: 第一:作为系统数据 第二:传输给用
分类: 其他 发布时间: 11-08 21:00 阅读次数: 0

LNAMP架构项目一

一、第一阶段 假设:公司初期只有一台web服务器,搭建Web服务器的脚本如下: 1 #检查环境 2 setenforce 0 &> /dev/null 3 sed -i s/=enforcing/=disabled/g /etc/selinux/config 4 systemctl restart firewalld 5 #使用CentOS系统原始源下载相关软件 6 yum -y remove maria* 7 echo '[mysql57-community] 8 name
分类: 其他 发布时间: 11-08 21:00 阅读次数: 0

batch、epoch、iteration

深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。 第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。 另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附
分类: 其他 发布时间: 11-08 21:00 阅读次数: 0

Idea导入Web项目并发布到Tomcat

Idea导入现有的Web项目并发布到Tomcat,发现Tomcat没有自动发布 问题: 导入一个Web项目时,idea并没有把他当成web,所以需要自己修改项目结构 1.导入项目 打开 File->Open... 2.发现项目web前面图标不带小圆点 正确应该为这样: 3.配置运行 (1).配置运行环境 打开 Run->Edit Configurations... (2).点击左上角小加号 (3).选择本地Tomcat,找到目录 (4).选择Deployment啥也没有,发现下方有红色惊叹号(
分类: 其他 发布时间: 11-08 21:00 阅读次数: 0

grafana安装并结合zabbix 设计监控

grafana安装并结合zabbix 设计监控
分类: 企业开发 发布时间: 11-08 21:00 阅读次数: 0

外企王同学-HCIE学习历程

说是考试心得,其实就是我自己对ie考试的一些体会,每个人感受其实也都不一样,以下是作为一个小白的体验准备考HCIE前 我上过一遍课  还没有上全 MPLS和组播基本没听,而且还是两年前加上第一遍课也没什基础 交换 IGP和BGP ,会的也就些简单命令,原理什么的也是云里雾里 。本身从事的是服务器存储维护工作,网络接触面很小 ,所以 我这样的网络小白基本等于是去裸考,当然考试前也是又跟了一遍课,以为
分类: 企业开发 发布时间: 11-08 21:00 阅读次数: 0