多任务异步操作在爬虫中的应用
首先来了解几个概念 : event_loop：事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，当满足某些条件的时候，函数就会被循环执行。程序是按照设定的顺序从头执行到尾，运行的次数也是完全按照设定。当在编写异步程序时，必然其中有部分程序的运行耗时是比较久的，需要先让出当前程序的控制权，让其在背后运行，让另一部分的程序先运行起来。当背后运行的程序完成后，也需要及时通知主程序已经完成任务可以进行下一步操作，但这个过程所需的时间是不确定的，需要主程序不断的监听状态，一旦收到了任
PageHelper实现分页查询
PageHelper是基于拦截器实现的myBatis分页插件 PageHelper的Github主页 : https://github.com/pagehelper/Mybatis-PageHelper 一.通过maven引入PageHelper的jar包 <dependency>
<groupId>com.github.pagehelper</groupId>
<artifactId>pagehelper</artifactId>
<version>5.1.8</versi
静态代码块、构造代码块、局部代码块
静态代码块：随着类的加载而执行，而且只执行一次。用于给类进行初始化。 构造代码块：可以给所有对象进行初始化。每次调用构造都执行，并且在构造方法前执行。 构造函数：是给对应的对象进行针对性的初始化。 局部代码块：限定局部变量的生命周期。及早释放，提高内存利用率。 各个代码块之间的执行顺序： 静态代码块——>main方法——>构造代码块——>构造函数
Hadoop 同步集群时间ntp
root 用户操作 1，rpm -qa|grep ntp 查看机器是否安装ntp 2,vi /etc/ntp.conf 修改： #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap restrict 192.168.178.0 mask 255.255.255.0 nomodify notrap 192.168.178.0 代表网段 注释： #server 0.centos.pool.ntp.org iburst #server 1.
Hadoop HA 模式搭建
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml 1 <configuration>
2 <!-- 指定hdfs的nameservice为ns1 -->
3 <property>
4 <name>fs.defaultFS</name>
5 <value>h
001-tomcat下载、解压、启动、开机启动
一、tomcat作用 Tomcat就是Servlet容器 下载解压 下载：找到合适版本下载使用即可 http://tomcat.apache.org/ window 下载zip解压 linux上使用 tar -zvxf tomcat.tar.gz 解压 其中 z 主要是指 .gzip；v 显示详细信息；x 从tar包中把文件提取出来；f 之后是文件,指被处理的文件 压缩 例一：将整个 /etc 目录下的文件全部打包成为 /tmp/etc.tar [root@linux ~]# tar
Python3.5-20190506-廖老师-自我笔记函数
函数就是将你的代码封装起来,可以重复利用.不需要每次就写重复的代码 def 函数名(位置参数,默认参数=10,可变参数,关键字参数): 代码块 return 值 定义函数时，需要确定函数名和参数个数； 如果有必要，可以先对参数的数据类型做检查； 函数体内部可以用return随时返回函数结果； 函数执行完毕也没有return语句时，自动return None。 函数可以同时返回多个值，但其实就是一个tuple。 位置参数和默认参数: 可变是关键的:
零基础入门Python数据分析，只需要看懂这一张图，附下载链接！
摘要 在做数据分析的过程中，经常会想数据分析到底是什么？为什么要做数据数据分析？数据分析到底该怎么做？等这些问题。对于这些问题，一开始也只是有个很笼统的认识。 最近这两天，读了一下早就被很多人推荐的《谁说菜鸟不会数据分析》这本书。发现对这些问题讲的还是比较透彻，随后对这本书的核心内容做了一个笔记。 说明：笔记主要以思维导图的方式呈现。 目录 一、数据分析概述 数据分析指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。 二、
武汉地铁站点最短路径搜索的实现（一）——Dijkstra算法（coding）
1 #include <iostream>
2 #include <string>
3 #include <iomanip>
4 using namespace std;
5
6 void dijsktra(int n, int **arc);
7
8 int main(){
9 int n;//节点数
10 int m;//边数
11 int a, b, c;
12 int **arc;//邻接矩
【Luogu5349】幂（分治FFT）
【Luogu5349】幂（分治FFT） 题面 洛谷 题解 把多项式每一项拆出来考虑，于是等价于要求的只有\(\sum_{i=0}^\infty i^kr^i\)。 令\(f(r)=\sum_{i=0}^\infty i^k r^i\)，那么\(rf(r)=\sum_{i=0}^\infty r i^k r^i\)。 这里默认\(a^k=0\)，\(k=0\)的时候特殊处理一下就行了。 然后就可以得到： \[\begin{aligned} (1-r)f_k(r)&=\sum_{i=0}^\inf
每日分享！～ 函数节流
函数节流 hello ，小伙伴们，又到了每周分享的时候，哎。每次到这个时候，不知道写点什么好呢？今天下雨，休息一天。那么今天来说说函数节流是什么情况吧～ 为什么会有函数节流这个词的产生呢？ 由于呢？某些事件会不停的触发执行，比如说scroll这个事件，当我们滚动滑轮的时候，会不停的触发监听滚动事件，这个不是我们想要的。极大的浪费了运行性能，因此节流的思想应运而生。当然，这个是我个人的想法。在我看来，函数节流就是用来解决无法阻止的不停触发的事件的。 节流的思想 由于某些事件将不停的触发，我们需要
(贪心 优先队列) leetcode1005. Maximize Sum Of Array After K Negations
Given an array A of integers, we must modify the array in the following way: we choose an i and replace A[i] with -A[i], and we repeat this process K times in total. (We may choose the same index i multiple times.) Return the largest possible sum of
numpy 常用操作
numpy 常用操作 2017年02月10日 12:37:17 永永夜 阅读数：3526更多 所属专栏： Python 科学编程 版权声明：欢迎转载，但请务必注明原文出处及作者信息。 https://blog.csdn.net/Jerr__y/article/details/54968548 numpy提供了ndarray和matrix两种类型的数据，为我们进行科学运算提供了非常便捷的运算工具。相对来说，我觉得其实还是MATLAB对于矩阵运算的支持更加直观易操作，但是作为Python使用者，怎
收藏 | Tensorflow实现的深度NLP模型集锦（附资源）
收藏 | Tensorflow实现的深度NLP模型集锦（附资源） THU数据派 今天 来源：深度学习与NLP 本文约2000字，建议阅读5分钟。 本文收集整理了一批基于Tensorflow实现的深度学习/机器学习的深度NLP模型。 收集整理了一批基于Tensorflow实现的深度学习/机器学习的深度NLP模型。 基于Tensorflow的自然语言处理模型，为自然语言处理问题收集机器学习和Tensorflow深度学习模型，100%Jupeyter NoteBooks且内部代码极为简洁。 资源整理
pycharm永久激活 有效至2100年
1.下载补丁文件JetBrainsCrack.jar 链接：https://pan.baidu.com/s/18_4BZQq393kXIXRdMUy6cQ 提取码：rh4q JetBrains官网也有得下载，本人pycharm是2018.2x64版 2.将下载的补丁放到pycharm目录的bin文件里面 3.修改配置文件 找到bin目录下的pycharm.exe.vmoptions和pycharm64.exe.vmoptions，打开后在最后一行添加： -javaagent:C:\Progra
JavaScript Dom编程艺术 小记
花了大概一个星期的时间看完了这本《JavaScript Dom编程艺术》，据说是前端入门必看的图书，写的还算是不错，语言活泼，讲解循序渐进，很容易跟着读者的思路走。 平稳退化 如果正确使用了JavaScript脚本，就可以让访问者在他们的浏览器不支持JavaScript的情况下仍能顺利地浏览你的网站，这就是所谓平稳退化，就是说虽然某些功能无法使用，但最基本的操作还是能顺利完成。 作者在本书中的很多例子中都贯穿了平稳退化这个概念并加以实践，算是给自己编写的js代码预留退路。 或许禁用javasc
JQuery性能优化和技巧
JQuery性能优化 1.使用最新版本的jquery库 2.使用合适的选择器 注意： 尽量选择id选择器 尽量给选择器指定上下文 3.缓存对象 在书写jquery代码中，新手经常喜欢用如下书写方式： $('#traffic_light input.on').bind(’click‘，function(){...});
$('#traffic_light input.on').css('border','1px dashed yellow');
$('#traffic_light input.o
vue3实现饿了么短信验证和高德定位
一、项目简介 这个项目基于VueCli3+Vuex+Axios+Vue-router，实现了饿了么的登录界面和地址界面 登录界面实现了短信验证，需要用户输入手机号和正确的验证码才能进入主页面。 地址界面分为三个：一开始主页面的默认定位地址；点击当前定位进入自定义地址界面；点击自定义界面的城市进入地址选择界面。 二、项目效果展示 三、具体实现 登录页面 1.验证码使用了聚合数据的api，新用户注册送10条，1.5五十条，适合测试用。 this.$axios.post('/api/posts/sm
ES6增强对象字面量
原文链接：es6对象字面量增强 es6对象字面量增强 相对于ES5,ES6的对象字面量得到了很大程度的增强。这些改进我们可以输入更少的代码同时语法更易于理解。那就一起来看看对象增强的功能。对象字面量简写(Object Literal Shorthand)、对象方法简写(Object Method Shorthand)、计算对象键(Object key)、对象解构(Object Destructuring)。 ES6对象字面量简写 javascript中的对象使用对象字面量很容易创建，现在来使用
今日推荐
周排行