爬虫入门六(异步的爬虫框架scrapy)
1、框架概述 - 异步的爬虫框架。
- 高性能的数据解析,持久化存储,全栈数据的爬取,中间件,分布式
- 框架:就是一个集成好了各种功能且具有很强通用性的一个项目模板。 2、环境的安装 Linux:
pip3 install scrapy
Windows:
a. pip3 install wheel
b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
ElGamal加密算法
ElGamal加密算法 ElGamal加密是一种公共密钥密码系统。它使用非对称密钥加密在双方之间进行通信并加密消息。 该密码系统基于难以找到循环群中离散对数的困难,即使我们知道g a和g k,也很难计算g ak。 ElGamal密码系统的想法 假设Alice想与Bob交流。 鲍勃生成公钥和私钥: 鲍勃选择一个非常大的数q和一个循环群F q。 从环状基团˚F q,他选择的任何元素克和 一个元件一个,使得满足gcd(A,Q)= 1。 然后,他计算h = g a。 鲍勃发布F,h = g a,q和g
使用Python将xmind脑图转成excel用例(一)
最近接到一个领导需求,将xmind脑图直接转成可以导入的excel用例,并且转换成gui可执行的exe文件,方便他人使用。 因为对Python比较熟悉,所以就想使用Python来实现这个功能,先理一下思路,首先要将xmind转换成Python可用的数据格式,正好找到了一个xmindparser库可以做这个事情,然后就好办了,用xlwt库写成xls文件,再用Python自带的gui库 tkinter来写 gui界面,最后用pyinstaller来打包。 计划分两个py文件来写,一个文件写exce
Win32 API编程——前言
一丶什么是Win32 API? 简单来说,就是微软为了保护操作系统的安全稳定,不允许运行在用户层的进程随意操控系统内核,而是必须按照一定方式。就是说我们用户层要与系统内核层交互(比如对内存、进程操作),只能通过调用Windows内核层提供的接口函数,也就是Win32API来操控。这些API以DLL(动态链接库)的形式保存(一般在SYSTEM32文件夹中,你可以发现大量的DLL),我们最常用的是kernel32.dll、user32.dll和gdi32.dll。 所有基于NT内核(包括X
构建调试Linux内核网络代码的环境MenuOS系统
构建调试Linux内核网络代码的环境MenuOS系统 安装,编译linux内核 步骤 1:下载,配置编译为32位 #如果想编译为64位,请直接从步骤二开始。
mkdir LinuxKernel #创建一个项目目录
cd LinuxKernel
wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.0.1.tar.xz #下载linux-5.0.1的内核,当然也可以下载其他版本的,就是有点慢。
xz -d linux-3.18.
SHELL脚本--shell数组基础
数组和变量的区别是:变量在内存中占用的空间是离散的,数组在内存中是先开辟一段连续的大内存空间,随后数组中的每个元素都放入数组内存中。数组元素使用数组index标识。 bash里有两种数组:普通数组和关联数组。普通数组只能使用整型数值作为数组索引,关联数组可以使用字符串作为索引。所谓的关联数组,它的另外三种称呼:字典(dict)、hash结构和映射(map),是一种key和value一 一对应的关系。 普通数组 定义数组的方式一:
[Codeforces 1265E]Beautiful Mirrors
Description 题库链接 一共有 \(n\) 个关卡,你初始在第一个关卡。通过第 \(i\) 个关卡的概率为 \(p_i\)。每一轮你可以挑战一个关卡。若通过第 \(i\) 个关卡,则进入第 \(i+1\) 个关卡,否则重新回到第 \(1\) 个关卡。通过第 \(n\) 个关卡则算成功。问期望多少轮游戏才能成功。 \(1\leq n\leq 2\cdot 10^5\) Solution 设从第 \(i\) 个关卡通关的期望为 \(E_i\)。显然 \[ E_i=p_i(E_{i+1}+
URLSearchParams对象
URLSearchParams对象用于处理URL中查询字符串,即?之后的部分。 1.语法 其实例对象的用法和Set数据结构类似。实例对象本身是可遍历对象。但是不是遍历器。 var paramsString = 'q=URLUtils.searchParams&topic=api';
var searchParams = new URLSearchParams(paramsString); 2. 实例操作方法 1. has(key) searchParams.has('topic'); //
node.js stream
(看到这里终于知道http的request为什么能定义监听器了) Node.js Stream(流) Stream 是一个抽象接口,Node 中有很多对象实现了这个接口。例如,对http 服务器发起请求的request 对象就是一个 Stream,还有stdout(标准输出)。 Node.js,Stream 有四种流类型: Readable - 可读操作。 Writable - 可写操作。 Duplex - 可读可写操作. Transform - 操作被写入数据,然后读出结果。 所有的 Str
南邮CTF - Writeup
南邮CTF攻防平台Writeup By:Mirror王宇阳 个人QQ欢迎交流:2821319009 技术水平有限~大佬勿喷 ^_^ Web题 签到题: 直接一梭哈…… md5 collision: 题目源码提示: $md51 = md5('QNKCDZO');
$a = @$_GET['a'];
$md52 = @md5($a);
if(isset($a)){
if ($a != 'QNKCDZO' && $md51 == $md52) {
echo "nctf{************
会计学专业本科培养方案
一、专业简介 中南大学会计系1993年开始招收“会计学”本科生,1998年获得会计学硕士授予权,2005年在“工商管理”一级学科博士点下设“会计学”二级学科博士点;中南大学会计系师资力量雄厚,现有教师16人,其中教授4人(博士生导师4人),副教授8人;建有会计综合模拟、ERP、沙盘模拟实验室等实验实习平台;本专业立足会计学学科前沿,服务社会和国家经济发展,在教学、科研和学生培养中,已形成循环经济与会计、反倾销会计、会计管理信息系统、审计理论等多个有特色的研究方向,承担了一系列国家、省部级和校企
今日推荐
周排行