15-scrapy-redis两种形式分布式爬虫
什么叫做分布式爬虫？ 分布式爬虫，就是多台机器共用一个scrapy—redis程序高效爬取数据， 为啥要用分布式爬虫？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道） scrapy-redis组件分布式爬虫： scrapy-redis为我们封装好了多台
JS的注释和输出语句
这个很简单了，一看就能懂得那种:0.0 1》 1.单行注释： // 快捷键：ctrl+/ 2.多行注释：/* */ 快捷键：shift+alt+a 2》 弹出框：alert(); 控制台：console.log(); 输入框：prompt();
单行和多行文字溢出省略
.text-ellipsis /* { 单行文字溢出省略 */ overflow: hidden; /* 溢出隐藏 */ text-overflow: ellipsis; /* 文字溢出省略 */ white-space: nowrap; /* 文字不换行 */ } .multiline-ellipsis { overflow: hidden; text-overflow: ellipsis; display: -webkit-box; -webkit-line-clamp: 2; -webk
微信小程序商城构建全栈应用☆
┃ 小程序申请及认证 1、微信小程序申请； 进入微信公众平台，点击右上角的“立即注册”，账号类型选择“小程序”。按照官方引导，逐步完成小程序注册。由于小程序商城开发必须用到微信支付功能，所以在填写到“主体信息登记”时，注册方式选择“微信认证”通过微信认证验证主体身份，需支付300元认证费。这样将小程序申请和小程序认证同时操作，节省审核时间。 如之前有同一主体已认证的服务号，可以登录认证服务号，开通小程序，按照步骤填写信息提交即可。通过认证服务号开通的小程序无需再次进行小程序认证。 2、小程序信
泰坦尼克号生存预测分析
此文发表在简书，复制过来，在下方放上链接。 https://www.jianshu.com/p/a09b4dc904c9 泰坦尼克号生存预测 1.背景与挖掘目标 “泰坦尼克号”的沉没是历史上最臭名昭著的海难之一。1912年4月15日，泰坦尼克号在处女航中与冰山相撞后沉没，2224名乘客和机组人员中有1502人死亡。这场耸人听闻的悲剧震惊了国际社会，并导致了更好的船舶安全条例。 造成沉船事故的原因之一是没有足够的救生艇供乘客和机组人员使用。虽然在沉没中幸存了一些运气，但一些人比其他人更容易生存，
py文件转换为exe文件
step 1: cd 到python3.7安装根目录下的Scripts文件夹 如：cd C:\Program Files\Python37\Scripts 可以通过查找pip.exe来确定正确的文件夹路径 step 2: 安装所需文件的开发版 安装命令：pip install https://github.com/pyinstaller/pyinstaller/archive/develop.tar.gz 安装成功后scripts文件夹内会有一个pyinstaller.exe step 3:
对于一些stl自定义比较函数
1.unorderd_map自定义键 自定义类型 struct my_key {
int num;
string name;
}; 1、由于unordered_map是采用哈希实现的，对于系统的类型int, string等，都已经定义好了hash函数，所以如果我们引入新的自定义类型的话，系统并不知道如何去计算我们引入的自定义类型的hash值，所以我们就需要自己定义hash函数，告诉系统用这种方式去计算我们引入的自定义类型的hash值 自定义的hash函数如下： st
python 利用jinja2模板生成html
1 from jinja2 import Environment, FileSystemLoader
2 import json
3
4
5 def generate_html(data):
6 env = Environment(loader=FileSystemLoader('./')) # 加载模板
7 template = env.get_template('模板.html')
8 # template.stream(body
kafk学习笔记（一）
kafka消费模式 1.点对点模式：消费者主动拉取消息，消费之后删除数据。 2.发布/订阅模式：如果生产者推给消费者，可能会有些消费者消费比较慢，直接爆炸、或者有些消费者消费很快，资源浪费；一般是消费者主动拉取（但是这样要不停的去询问kafka是否有新消息）。 Kafka基本架构 1.生产者：生产消息给kafka集群。 2.kafka集群：消息队列，暂存消息。 borker可以任务是不同的服务器； Topic是指主题，每个主题存不同类型的消息； partition是指分区，分区的作
BeanFactoryPostProcessor和BeanDefinitionRegistryPostProcessor
/**
* 扩展原理：
* BeanPostProcessor：bean后置处理器，bean创建对象初始化前后进行拦截工作的
*
* 1、BeanFactoryPostProcessor：beanFactory的后置处理器；
* 在BeanFactory标准初始化之后调用，来定制和修改BeanFactory的内容；
* 所有的bean定义已经保存加载到beanFactory，但是bean的实例还未创建
*
*
* Bea
nZmidandyiafasfasfa
1.资金投资要讲究，合理分配是可以得到回报的。 2.玩法要专一，往往一在你换掉之前的玩法的时候就出了。 3.心理要稳定，该出手就出手，别犹犹豫豫的，那样会把你给拖垮的。 4. 别去依赖什么必胜软件，毕竟软件只是起到辅助作用，要相信自己多看走势提高自己的能力。 所谓的滚雪球是以suo ha 的形式来玩，（所谓的suo ha 并不是你又多少梭多少，是要你分配好你本金的 百分之10-20在玩 这个需要的是你来根据自己的本来分配。 滚雪球个人建议玩七码八码是最好的选着 7码2期一收 8码3期一收（本金
Github使用进阶
1 Github常用词： watch：会持续收到该项目的动态 fork：复制某个项目到自己的Github仓库中 star：可以理解为点赞 clone：将项目下载至本地 follow：关注你感兴趣的作者，会收到他们的动态 2 in关键词限制搜索范围 xxx关键词 in:name或description或readme seckill in:name----项目名包含seckill的 seckill in:description----项目描述包含seckill的 seckill in:readme
mysql的HA及openstack和k8s区别
数据库HA(Hight Availability) mysql自身支持主主/主备部署，多主(>2),一主多备 galera mariadb集群：多主相互备份 修改容器的启动配置 修改Docker容器启动配置参数 docker container update --restart=always 容器名字 修改配置文件 停止容器 找到配置文件路径 /var/lib/docker/containers/容器ID 在该目录下找到一个文件 hostconfig.json 修改配置 启动容器。 galer
抖音抖一抖-SVG和CSS视觉故障艺术小赏
故障艺术，英文名称叫glitch，在很多赛博朋克作品中经常看到，其实就是故意表现一种显示设备的小故障效果，抖音的图标其实就是这种的效果，我们看下这个图标 这个图标中的红色和蓝色的偏移其实就是一种故障艺术，看到这个，我就能想到早年我家还没有有线电视时，摇天线对电视信号的场景，信号一差就是对着电视一阵拳打脚踢，现在看到这种艺术效果颇为怀念。 某甲：为啥我没遇到过这种场景？ 我：你把手里的平板扔地上就能看到了。 某甲：（土豪动作完成）我摔了，咋还没看到呢 我：我就打个比方，你何必当真... 某甲：我
linux配置定时备份mysql数据库
linux配置定时备份mysql数据库 1、创建备份目录2901583663 # mkdir /mydata/bak 2、创建备份脚本 # vi /usr/sbin/bakmysql.sh #!/bin/bash #Name:bakmysql.sh #This is a shellscript for atuo db backup and delete old backup. #Jxy # bakdir=/mydata/bak time=`date +%Y%m%d` mysql_bin_dir
2019-2020-1 20181218《Linux内核原理与分析》第一周作业
目录 问题和参考 有趣/有用的Linux命令 小作业和解答 一些图片 相关学习 本文是学习Linux基础入门（新版）后的总结。 问题和参考 虚拟机莫名崩溃，一天重启了几十次电脑，重装两次系统，心累。想起去年十一时节，大一的我也在安虚拟机，没想到一年过去又是一个轮回，还遇到了很多全新的问题，一环套一环，一个问题接一个。常安常新啊。 错误的逻辑顺序： 全屏后找不到安装增强功能——HOME+HOST，HOST+C可以重新显示菜单栏，且要将菜单栏的“设备”设为显示，才能找到“安装增强功能”——找不到H
今日推荐
周排行