Scrapy1.5基本概念(九)——请求和响应(Requests and Responses)

本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/request-response.html 请求和响应(Requests and Responses) Scrapy使用Request和Response对象来爬行web站点。 通常来说,Request对象在爬虫中生成,并且系统中传递,直到它们到达下载器(Downloader),下载器执行请求并返回Response对象,Response对象返回到发出请求的爬虫。 Request和Respon
分类: 编程语言 发布时间: 01-04 23:46 阅读次数: 0

springboot学习总结二(Spring boot的核心配置文件)

Spring boot的核心配置文件 spring boot的核心配置文件用于配置Spring boot程序,有两种格式的配置文件 properties文件--- 键值对的properties属性文件配置方式 2.yml文件 3.多环境配置文件 #比如配置环境 application-dev.properties application-test.properties application-online.properties Spring boot的自定义配置 我们可以在Spring boo
分类: 编程语言 发布时间: 01-04 23:46 阅读次数: 0

KVM虚拟机centos7磁盘扩容

1、增加镜像磁盘容量 qemu-img resize cos7-86.img +100G 2、重启虚拟机 virsh shutdown cos7-86 virsh start cos7-86 3、进去虚拟机查看分区 fdisk -l 4、分区并修改lvm格式 n:分区 t:修改磁盘格式 p:查看分区情况及格式 5、创建pv并加入到vg中(如果报错找不到磁盘分区,请重启虚拟机再试) pvcreate /dev/sda3 vgextend centos /dev/sda3 lvresize
分类: 编程语言 发布时间: 01-04 23:46 阅读次数: 0

Linux设置网卡bond

原理: 多块网卡虚拟成一张,实现冗余;多张网卡对外显示一张,具有同一个IP; 对于多物理网卡的 Bond 网卡而言,其中一块物理网卡会被设置为 Master,其他的网卡都是 Slave,Bond 网卡的 MAC 地址取自标志为 Master 的物理网卡,然后将这个 MAC 地址复制到其他物理网卡上; 工作模式: 注意:在主备模式下 , 只有主网卡 eth0 工作,eth1 作为备份网卡是不工作的,只有当一个网络接口失效时 ( 例如主交换机掉电等 ),为了不会出现网络中断,系统会按照配置指定的网
分类: 编程语言 发布时间: 01-04 23:45 阅读次数: 0

批量下载文件,将文件打包成压缩文件

批量压缩文件 public static byte[] zipFiles(List<File> listfiles) throws IOException { byte[] buf = new byte[1024]; ByteArrayOutputStream outPut = new ByteArrayOutputStream(); ZipOutputStream out = new ZipOutputStream(outPut);
分类: 编程语言 发布时间: 01-04 23:45 阅读次数: 0

Scrapy1.5基本概念(十)——链接提取器(Link Extractors)

本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/link-extractors.html 链接提取器(Link Extractors) 链接提取器是只用于从web页面(scrapy.http.Response对象)中提取链接的对象,这些链接最终会被继续追踪。 在Scrapy中有一个可用的scrapy.linkextractors.LinkExtractor,但是你也可以根据你自己的需求,通过实现几个简单的接口来创造你自己的链接提取器。
分类: 编程语言 发布时间: 01-04 23:45 阅读次数: 0

子类数据模拟(全选反选)

rank1: [{ name: "石门县", id: 1, isPitchOn: false, rank2: [{ name: "所街乡1", id: 1, isPitc
分类: 编程语言 发布时间: 01-04 23:44 阅读次数: 0

disabled属性对form表单向后台传值的影响

在form表单里,如果对input 或者 select 标签 加入disabled="disabled"或disabled="true"等属性,form表单提交的时候,就不会传值到后台。 原因:在HTML页面的某元素加入了disable的属性,那么这个元素只是单单的去给用户去显示,当表单提交时,这个元素不会提交给后台去处理.所以当元素加入了disabled属性,后台是无法得到这个属性的值. 解决方法:再写一个隐藏属性,一个用于显示,一个用于传值。
分类: 编程语言 发布时间: 01-04 23:44 阅读次数: 0

数据分析网站

数据分析网站: https://netmarketshare.com/
分类: 编程语言 发布时间: 01-04 23:44 阅读次数: 0

Scrapy1.5基本概念(十一)——配置项(Settings)

本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/settings.html 配置项 Scrapy配置项允许你自定义所有Scrapy组件的行为,包括核心、扩展、管道和爬虫本身。 配置项的基础结构提供了键值映射的全局命名空间,代码可以在项目的任意地方使用该命名空间来提取配置项的值。配置项还可以通过不同的机制来填充数据,后续我们会介绍。 这些配置项同时也是选择当前活动的Scrapy项目的机制(如果有多个项目的话)。 内置的配置项引用,请见这里
分类: 编程语言 发布时间: 01-04 23:44 阅读次数: 0

[Java面试三]JavaWeb基础知识总结.

[Java面试三]JavaWeb基础知识总结. 1.web服务器与HTTP协议 Web服务器 l WEB,在英语中web即表示网页的意思,它用于表示Internet主机上供外界访问的资源。 l Internet上供外界访问的Web资源分为: • 静态web资源(如html 页面):指web页面中供人们浏览的数据始终是不变。 • 动态web资源:指web页面中供人们浏览的数据是由程序产生的,不同时间点访问web页面看到的内容各不相同。 l 静态web资源开发技术 • Html l 常用动态web
分类: 编程语言 发布时间: 01-04 23:43 阅读次数: 0

作为一个java初学者,改如何学习多线程?

多线程相对于其他 Java 知识点来讲,有一定的学习门槛,并且了解起来比较费劲。在平时工作中如若使用不当会出现数据错乱、执行效率低(还不如单线程去运行)或者死锁程序挂掉等等问题,所以掌握了解多线程至关重要。 1、为什么要使用多线程 首先,你学习Java多线程,得知道为什么要使用多线程吧?干嘛不老老实实使用单线程呢?这部分比较简单,书里讲的也很清楚,网上一搜资料也一大把,所以这部分不作解读 ( ̄ ̄)~ 2、如何写出线程不安全的代码 好,现在你知道为什么要学Java多线程了。 那么当我们谈学习多线
分类: 编程语言 发布时间: 01-04 23:43 阅读次数: 0

K - 擅长排列的小明

#include<stdio.h> #include<string.h> int m,t,a[1000],b[1000]; void dfs(int f) { if(f==m+1) { for(int i=1;i<=m;i++) { printf("%d",a[i]); } printf("\n"); } for(int i=1;i<=t;i++) { if(b[i]==0) { b[i]=1; a[f]=i; dfs(f+1);
分类: 其他 发布时间: 01-04 23:43 阅读次数: 0

B - 组合数

v 提交 题目描述 找出从自然数1、2、... 、n(0<n<10)中任取r(0<r<=n)个数的所有组合。 输入 输入n、r。 输出 按特定顺序输出所有组合。 特定顺序:每一个组合中的值从大到小排列,组合之间按逆字典序排列。 样例输入 5 3 样例输出 543 542 541 532 531 521 432 431 421 321 提交 题目描述 找出从自然数1、2、... 、n(0<n<10)中任取r(0<r<=n)个数的所有组合。 输入 输入n、r。 输出 按特定顺序输出所有组合
分类: 其他 发布时间: 01-04 23:42 阅读次数: 0

C - 最少步数

题目描述 这有一个迷宫,有0~8行和0~8列: 1,1,1,1,1,1,1,1,1 1,0,0,1,0,0,1,0,1 1,0,0,1,1,0,0,0,1 1,0,1,0,1,1,0,1,1 1,0,0,0,0,1,0,0,1 1,1,0,1,0,1,0,0,1 1,1,0,1,0,1,0,0,1 1,1,0,1,0,0,0,0,1 1,1,1,1,1,1,1,1,1 0表示道路,1表示墙。 现在输入一个道路的坐标作为起点,再如输入一个道路的坐标作为终点,问最少走几步才能从起点到达终点? (注
分类: 其他 发布时间: 01-04 23:42 阅读次数: 0

s - 指数运算-快速幂实现

#include<stdio.h> int main() { unsigned long int a, b; while(~scanf("%lu%lu", &a , &b)) { unsigned long int ans = 1,base = a; while(b) { if(b&1) { ans*=base; } base*=base; b>>=1; } printf("%lu\n",ans); } return 0; } 时间限制:1秒
分类: 其他 发布时间: 01-04 23:42 阅读次数: 0

表达式括号匹配-洛谷

题目链接 #include<iostream> #include<cstdio> #include<queue> using namespace std; char a[10000]; int main() { queue<int>A; int i=1;a[0]=getchar(); while(a[i-1] != '@') { a[i]=getchar(); i++; } int d=i; int u=0; for(int i = 0 ;i < d;i++) {
分类: 其他 发布时间: 01-04 23:42 阅读次数: 0

填涂颜色-洛谷

题目https://www.luogu.org/problemnew/show/P1162 #include<iostream> #include<cstdio> #include<queue> using namespace std; struct node { int x, y, step; node(){} node(int xx,int yy,int sstep): x(xx),y(yy),step(sstep){} }; using namespace std; const
分类: 其他 发布时间: 01-04 23:41 阅读次数: 0

你的飞碟在这儿Your Ride Is He…

题目链接https://www.luogu.org/problemnew/show/P1200 #include<iostream> #include<cstring> #include<cstdio> using namespace std; char b[10],d[10]; int main() { long long a=1,r=1; scanf("%s",&b);scanf("%s",&d); int f = strlen(b); int g = strlen(d); f
分类: 其他 发布时间: 01-04 23:41 阅读次数: 0

dp——最大子段和

题目https://www.luogu.org/problemnew/show/P1115 #include <iostream> using namespace std; int a[10000]; int main() { int n = 0; cin>>n; int sum = 0, res = 0; for(int i = 0; i<n; i++) { int tmp; cin>>tmp;a[i]=tmp; if(sum < 0)
分类: 其他 发布时间: 01-04 23:41 阅读次数: 0