误删除线上无备份mongodb 1800万数据表的心路历程
2018-06-14 15:32 ，我误删除掉线上mongodb集群的表。 ok，mongobooster是有stop按钮。点击停止救命一下。但是，根本停不掉，每刷新一下都能看到表单在1M递减的速度减少，每刷新一次 头晕就加重脑海飞速想解决方案 历程： 1.找运维，拿备份。 找了许久竟然没近期备份，最近的是五月初，我的天，我快倒在地上了。 2.竟然mongodb的collection是文件存储，那么靠运维磁盘中找到原来文件，400多G磁盘需要半小时检索。这半小时 ，看着异常不断增多，崩溃，每一
Spark SQL实现日志离线批处理
一、 基本的离线数据处理架构： 数据采集 Flume：Web日志写入到HDFS 数据清洗 脏数据 Spark、Hive、MR等计算框架来完成。 清洗完之后再放回HDFS 数据处理 按照需要，进行业务的统计和分析。 也通过计算框架完成 处理结果入库 存放到RDBMS、NoSQL中 数据可视化 通过图形化展示出来。 ECharts、HUE、Zeppelin 处理框图： 1 2 3 4 5 6 7为离线处理，其中5不一定是Hive（还有Spark SQL等） 6不一定是RDBMS（NoSQL） 执行
Python爬虫学习二------爬虫基本原理
爬虫是什么？爬虫其实就是获取网页的内容经过解析来获得有用数据并将数据存储到数据库中的程序。 基本步骤： 1.获取网页的内容，通过构造请求给服务器端，让服务器端认为是真正的浏览器在请求，于是返回响应。python有很多请求的库，像urllib，requests库等，个人比较喜欢requests库，很容易上手。 2.解析获得的数据，可以通过正则表达式，bs4，xpath等解析工具来获得自己想要的数据。 3.存到数据库，现在最流行的三大数据库，mysql，mongodb，redis都可以
hdu 1930 中国剩余定理(互质模板题)
And Now, a Remainder from Our Sponsor Time Limit : 5000/1000ms (Java/Other) Memory Limit : 32768/32768K (Java/Other) Total Submission(s) : 23 Accepted Submission(s) : 13 Problem Description IBM has decided that all messages sent to and from teams co
20165221----第二届构建之法论坛学习总结
配置环境 配置JDK 我选择在Windows中配置 ！ 按照教程，进行环境变量的配置。 因为我将安装的jdk放在D-jdk1.8-java中，所以按如下方式配置编辑path变量。 此时jdk安装和配置完成！ 下载IDE 克隆项目 先进行注册，用户名设置为学号20165221,邮箱为自己的QQ邮箱[email protected]注册成功界面如下 然后进行登录 查看登录信息 在git命令行找到操作地址 以Github账号命名的文件夹作为项目目录，在 IntelliJ IDEA中新建一个工程。初步运
JSP学习（一）JSP基础语法
JSP基础语法 1、JSP模版元素 JSP页面中的HTML内容称之为JSP模版元素。 JSP模版元素定义了网页的基本骨架，即定义了页面的结构和外观。 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> 2、JSP表达式 JSP脚本表达式（expression）用于将程序数据输出到客户端 语法：<%= 变量或表达式 %> 举例：输出当前系统时间: <%= new java.util.Da
源哥每日一题第十八弹 poj 1182 并查集
题目链接：http://poj.org/problem?id=1182 题意：看不懂？退群吧 比平常的并查集加了一个判断集合间关系的操作； 开一个数组记录当前点所在集合的次序（第几个集合）用012表示 比较简单的思路，不过体现了并查集的精妙 #include <iostream>
#include <cstring>
#include <cstdio>
using namespace std;
int dad[500005];
int st[50005];
int find(int x) {
centos 安装 FLEXPART
师哥做了个课题，用FLEXPART分析大气伴飞轨迹，提前先安装这个软件吧。我使用的环境是centos7，看官慢慢看，结尾有彩蛋~ 准备工作，flexpart是用Fortran语言写的，以.90结尾的文件就是他的源文件，因此编译需要使用gcc和gcc-c++编译器 yum install gcc yum install gcc-c++ 就行了，gcc编译器可以编译fortran语言的源码 1：安装jasper cd /usr/local/ wget http://www.ece.uvic.ca/
转载：HRTF virtaul surround
https://blog.csdn.net/Filwl_/article/details/50503558 https://blog.csdn.net/lwsas1/article/details/54575668 https://blog.csdn.net/Inger_H/article/details/52790264 https://www.cnblogs.com/huaping-audio/archive/2011/04/04/2005379.html 人们能够分辨出声音的远近，方向，
PLC PLSY 指令
D8140 脉冲计数 M8029 输出完成标志 调速度调D1 调圈数调D2 (根据伺服驱动设定) https://wenku.baidu.com/view/4d0136d769eae009581bec9b.html
1-saltstack安装部署
master端安装 rpm -ivh https://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.rpm
yum install salt-master
systemctl enable salt-master
systemctl start salt-master minion端安装 rpm -ivh https://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.r
作业: 小型购物系统 小结
作业： 用户入口： 1. 商品信息存在文件里 2. 已够商品，余额记录 商家入口 2. 可以添加商品，修改商品价格 数据文件：商品库：product_store.db {'book': {'price': 45, 'stocks': 80}, 'watch': {'price': 210, 'stocks': 27}, 'phone': {'price': 1999, 'stocks': 29}, 'apple': {'price': 6, 'stocks': 21}, 'orange': {
bzoj2743[HEOI2012]采花
题目：https://www.lydsy.com/JudgeOnline/problem.php?id=2743 和bzoj1878 HH的项链 一样的思路。一下想到只保留最靠右的两个值。所以把pre的pre删掉。 ！仔细思考一下，发现每次加进去的是当前的pre。 #include<iostream>
#include<cstdio>
#include<cstring>
#include<algorithm>
using namespace std;
const int N=1e6+5;
Linux 系统参数修改命令sysctl
该命令只能修改/proc/sys/下的参数 而且只是临时性的查看指定参数的值实际的目录是/proc/sys/net/ipv4/ip_forward修改指定参数的值哪些参数可以修改呢?由于这些参数都是以文件形式显示的，所以使用cat echo来查看为了让修改的参数生效，需要重新载入配置文件 systcl -p 默认载入/etc/sysctl.conf文件为了让sysctl所操作的参数永久有效，需要修
Java8的新特性,二进制序列转十进制数字
package kata_007_二进制序列转十进制int;
/**
* java8 Lambda表达式转换binary序列->十进制数
*/
import java.util.ArrayList;
public class ShortBinaryToDecimal {
public static void main(String[] args) {
ArrayList<Integer> binary = new ArrayList();
bi
说说WPF的依赖属性
首先，我们先来大概了解一下依赖属性 什么是依赖属性：依赖属性自己没有值，通过依赖别人（如Binding）来获得值。 依赖属性为什么会出现：控件常用字段有限，包装太多属性会占用过高内存，造成浪费。所以用依赖属性，用不着就不用，用得着就用。 怎么声明依赖属性：用public static readonly三个修饰符修饰。 怎么声明实例：使用DependencyProperty.Register方法生成。此方法有三个参数跟四个参数。 怎么操作依赖属性的值：利用依赖对象（Dependency Obje
const修饰的常量也是可以被修改的！真的是世界上唯一不变的是变化
这里我用的编译器是Dev c++进行测试的，在研究芯片代码加密的时候偶然发现的const常量也是可以被恶意修改的，所以我在Dev c++里进行了测试，结果发现果不其然。但是这种行为出现在C/C++里我个人觉得是不难理解的，使用C语言风格的强制类型转换本来就是强大而又带有危险的，并且我认为c/c++提供关键字const其实只是提供了语义上的保护，而只要是存在于可读写的内存中，通过恶意的行为总是可以修改所谓的const常量。 #include <stdio.h>
int main(void)
{
Android开发中比较常见的内存泄漏问题
转载自https://www.jianshu.com/p/ab4a7e353076 如果一个无用对象（不需要再使用的对象）仍然被其他对象持有引用，造成该对象无法被系统回收，以致该对象在堆中所占用的内存单元无法被释放而造成内存空间浪费，这中情况就是内存泄露。 在Android开发中，一些不好的编程习惯会导致我们的开发的app存在内存泄露的情况。下面介绍一些在Android开发中常见的内存泄露场景及优化方案。 单例导致内存泄露 单例模式在Android开发中会经常用到，但是如果使用不当就会导致内存
今日推荐
周排行