入门大数据---Spark开发环境搭建
一、安装Spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz
1.2 配置环境变量 # vim /etc/profile
添加环境变量： export SPARK_HOME=/usr/app/spark-2.2.3-bin-hadoop2.6
export
高并发系统设计（六）：如何减少频繁创建数据库连接的性能损耗？
数据库的调用方式是先获取数据库的连接，然后依靠这条连接从数据库中查询数据，最后关闭连接释放数据库资源。这种调用方式下，每次执行SQL都需要重新建立连接，频繁地建立数据库连接耗费时间长导致了访问慢的问题。 那么为什么频繁创建连接会造成响应时间慢呢？来看一个实际的测试。 我用"tcpdump -i bond0 -nn -tttt port 4490"命令抓取了线上MySQL建立连接的网络包来做分析，从抓包结果来看，整个MySQL的连接过程可以分为两部分： 第一部分是前三个数据包。第一个数据包是客户
逆序对与本质不同的逆序对
题目 Description 给定一个序列a1,a2,…,an，如果存在i<j,a[i]>a[j]，那么我们称之为逆序对，求逆序对的数目 Input 第一行为n,表示序列长度，接下来的n行，第i+1行表示序列中的第i个数。 N<=10^5。Ai<=10^5 Output 两行，第一行为所有逆序对总数，第二行为本质不同的逆序对总数。 Sample Input 4
3
2
3
2 Sample Output 3
1 思路： 由题目可知，逆序对是满足，i<j ,a[i]>a[j] 的两个数，
Python爬虫 - scrapy框架的基本操作
scrapy异步的爬虫框架。 异步的爬虫框架。 高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式 框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。 环境安装： Linux： pip3 install scrapy
Windows： a. pip3 install wheel
b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 进入下载目录，执行 pip3 insta
linux安装pm2
在树莓派上安装了node环境，管理nodejs应用还需要安装pm2 ，在此做个记录。 使用命令安装pm2 sudo cnpm install -g pm2 安装完成 使用pm2自带的命令提示未找到命令 这里还需要执行一步操作，看上面安装完毕后的路径信息，把安装的路径做个软链接（即快捷方式） sudo ln -s /usr/local/node/lib/node_modules/pm2/bin/pm2 /usr/local/bin/ 使用 ln -s 命令创建软链接 前面是安装的路径 后面是快捷
java-递归(文件查找)
1 import java.io.File;
2
3 /**
4 * @Author: heq
5 * @Date: 2020/6/23 20:51
6 */
7 public class Test {
8 public static void main(String[] args) {
9 File file = new File("C:");//查找的盘符
10 heq(file);
11 }
12
13 p
登录mysql数据库
一：链接： win10 安装 mysql8 图解教程 手动配置mysql8 数据库 登录mysql数据库 二：登录mysql 1: 以 windowns 命令方式登录 首先 在 cmd命令里 切换到mysql的bin目录下 C:\Program Files\MySQL\MySQL Server 8.0\bin>cd C:\Program Files\MySQL\MySQL Server 8.0\bin
C:\Program Files\MySQL\MySQL Server 8.0\bin>c
B站 av和bv号互转 py和js版 bigint
参考 https://www.zhihu.com/question/381784377/answer/1099438784 py的可以直接使用 table='fZodR9XQDSUm21yCkr6zBqiveYah8bt4xsWpHnJE7jL5VG3guMTKNPAwcF'
tr={}
for i in range(58):
tr[table[i]]=i s=[11,10,3,8,4,6] xor=177451812 add=8728348608 def dec(x): r=0 for i
算术运算测试与猜数字游戏
1 选题 选题一 算术运算测试 题目要求 实现十道100以内加减法数学题，能根据题目计算出答案，与输入答案对比，判断做题是否正确，最后计算分数。（添加排行榜功能存放到文件或数据库中） 能力要求：1. 沟通表达能力 2.资料搜集能力 3.自主学习能力 4. 时间规划能力 5.独立完成项目能力 6.文档撰写能力 7.面向对象编程思维和软件工程思想。 使用Java知识 Java基本输入输出、算数运算符、Java常用类、for循环、while循环、if判断语句、list集合、数据库基础知识、封装、Th
Python中的“命名元组”是什么？ - What are “named tuples” in Python?
问题： Reading the changes in Python 3.1 , I found something... unexpected: 阅读Python 3.1中的更改后 ，我发现了一些意外…… The sys.version_info tuple is now a named tuple : sys.version_info元组现在是一个命名的元组 ： I never heard about named tuples before, and I thought elements c
leetcode 1.两数之和（暴力&哈希）
1.题目链接 https://leetcode-cn.com/problems/two-sum/ 2.题目描述 给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。 你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。 示例： 给定 nums = [2, 7, 11, 15], target = 9
因为 nums[0] + nums[1] = 2 + 7 = 9
所以返回 [0, 1] 3.解题
树莓派3B安装DeBian 64位系统及其安装私有云网盘----可道云
一、起源 1.1、先来说说起源吧，楼主呢也是前段时间闲来无事，无聊就随便刷刷B站，结果，一个视频吸引了我的目光，先把视频链接放上把------>https://www.bilibili.com/video/BV15Z4y1j7e3,对就是这个，正好手上淘汰下来的手机没用处，就借此让它发挥发挥最后的余晖吧，另外一个重要的原因吧，楼主的工作呢，算属于半个码农，做单片机的，每次调试大型产品，都要到车间去调试，老是拿U盘拷贝来拷贝去，太麻烦，并且U盘里面的资料比较多，一个不小心掉了，公司就要和楼主
Git clone --recursive
前言 看一个学习视频的时候, 提到了一个Git命令↓ git clone --recursive https://github.com/dotnet/extensions.git
对于使用小乌龟{TortoiseGit}选手来说, 这个命令还是值得学习下的. 学习视频中提到一嘴这个命令的作用 把它依赖的一些项目同时下载下来. 但是只是这么听说一下, 更加激起了想要了解这个{--recursive}这个是干嘛用的. 并且也想知道如果用{TortiseGit}执行命令{--recursive}应
斯特林数、贝尔数与伯努利数基础
第一类斯特林数(无符号第一类斯特林数）\(\left[ n\atop m\right]\) 表示n个带标号元素划分为m个圆排列（圆排列本身之间不可区分）的方案数。 \[\left[ n\atop m\right]= \left[ n-1\atop m-1\right]+(n-1) \left[ n-1\atop m\right]\\ n!=\sum_{i=0}^{n}\left[ n \atop i \right]\\ \] 第二类斯特林数 \(\left\{ n \atop m \right
C++中输入一组不确定长度的数
使用cin.peek()判断输入的是否为换行 int main()
{
Solution a;
vector<int> b;
int c = 0;
while(cin.peek() != '\n')
{
cin >> c;
b.push_back(c);
}
cout << a.singleNumber(b) << endl;
return 0;
} 参考 C++输入一行数据到数组（个数已知与未知
今日推荐
周排行