Python爬虫运用正则表达式

我看到最近几部电影很火,查了一下猫眼电影上的数据,发现还有个榜单,里面有各种经典和热映电影的排行榜,然后我觉得电影封面图还挺好看的,想着一张一张下载真是费时费力,于是突发奇想,好像可以用一下最近学的东西实现我的需求,学习了正则表达式之后,想着要感受一下它在爬虫里面的效果和优缺点。 目标:爬取Top100榜单上电影的封面图 Top100榜单规则:将猫眼电影库中的经典影片,按照评分和评分人数从高到低综合排序取前100名,每天上午10点更新。相关数据来源于“猫眼电影库”。 下面是我做的步骤: (1)
分类: 其他 发布时间: 08-24 18:00 阅读次数: 0

Mac电脑什么截图软件最好用?Snipaste for Mac实用截图教程

Snipaste for Mac是一个简单但功能强大的剪切工具,允许您将屏幕截图固定在屏幕上,下载并启动应用程序,按F1开始剪切,然后按F3将其粘贴为浮动窗口。您还可以将剪贴板中的文本或颜色信息转换为浮动图像窗口。不论您是程序员,设计师或刚刚使用计算机工作的人,您会惊讶地发现它可以帮助您更有效地完成工作!
分类: 其他 发布时间: 08-24 17:53 阅读次数: 0

内置函数:进制转换,bin,oct,hex

bin:将整型转换成二进制,以0b显示 oct:将整型转换成八进制,以0c显示 hex:将整型转换成十六进制,以0x显示 print(bin(15155)) print(oct(15155)) print(hex(15155)) #打印: 0b11101100110011 0o35463 0x3b33
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

OpenCV 静态库 CMAKE 文件

cmake_minimum_required(VERSION 3.12) project(computer_cv) set(CMAKE_CXX_STANDARD 11) find_package(OpenCV REQUIRED) include_directories(${OpenCV_INCLUDE_DIRS}) message(${OpenCV_INCLUDE_DIRS}) link_directories(/usr/local/lib/opencv4/3rdparty) SET(CMAK
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

Redis----NoSql数据库笔记

介绍:Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API的非关系型数据库。 传统数据库遵循 ACID 规则。而 Nosql(Not Only SQL 的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称) 一般为分布式而分布式一般遵循 CAP 定理。 Redis支持的数据类型? String字符串: 格式: set key value string类型是二进制安全的。意思是
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

替罪羊树模版 普通平衡树

替罪羊树,代码贼长,我哭了。。。 #include<iostream> #include<stdio.h> #include<string.h> #include<algorithm> #include<vector> using namespace std; const int maxn = 1e5+5; const double alpha = 0.75; struct node{ int l,r,val; int size,fact; ///子树大小,实
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

如何把SAP Kyma和SAP Cloud for Customer连接起来

首先进入SAP Cloud for Customer的Administration的工作中心,打开General Settings视图,进入Event Notification配置UI: 新建一个C4C OData事件和API的消费者: 类型选择SAP Cloud Platform Extension Factory,即Kyma: 这个Remote Environment URL从哪里来呢?就是SAP Kyma应用里的Application Connector对应的url: 即这个url: 维
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

"工作激发了我的热情,并不断激励着我” - SAP成都研究院Jerry Wang

SAP 为员工提供了与 SAP的优秀人才以及全球客户和合作伙伴共事的绝佳机会。我相信,只要你努力工作,充满激情,你就能在这里获得成功。 -- Jerry Wang 加入SAP 我是从中国电子科技大学的两位同学那里听说的 SAP,他们在 SAP 成都实习。他们说在 SAP 公司工作,有机会与全球同事合作,有机会接触先进的技术,并能参加公司的培训和发展计划,这令我颇为动心。 于是,我萌生了申请去 SAP 实习的想法。经过多轮面试,我成为了一名助理应用程序开发人员。2007 年毕业后,我开始在 SA
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

个人css公用属性

在我们写多个网页的时候,会发现总会遇到很多相同的css样式,若是每次都要在网页代码中写,会浪费时间,同时也会消耗浏览器和计算机的性能。因此,我个人将我敲代码过程中的经常用到的css样式总结了一下。再用的时候通过link标签引用就可以了。 常用的公用css 一、PC端 1.页面margin(外边距)、padding(内边距)清零。 *{ margin:0; padding:0; } 原因: 1、默认的块元素有些会自带margin或者padding。 2、body默认就会有8个像素margin,这
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

提权篇

收集信息 内外网 服务器系统和版本 位数 服务器的补丁情况 服务器的安装软件情况 服务器的防护软件情况 端口情况 支持脚本情况 信息收集常用命令: Windows: ipconfig /all     net user netstat -ano ver systeminfo tasklist /svc taskkill -PID pid号 taskkill /im qq.exe /f net user test 123456 /a
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

【12.8】asyncio高并发爬虫

1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # asyncio爬虫、去重、入库 4 5 import asyncio 6 import re 7 8 import aiohttp 9 import aiomysql 10 from pyquery import PyQuery 11 from aiohttp import TCPConnector 12 13 1
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

软工第八周

开学考试程序框架已经基本搭建完成,在下周可以完成任务,pta实验报告仍未完成,也预计在下周完成。
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

c++ 读取、保存单张图片

转载:https://www.jb51.net/article/147896.htm 实际上就是以二进制形式打开文件,将数据保存到内存,在以二进制形式输出到指定文件。因此对于有图片的文件,也可以用这种方法复制其内容 1 #include<iostream> 2 3 using namespace std; 4 5 void main(void) 6 { 7 //保存输入图像文件名和输出图像文件名 8 char InImgName[10];
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

cmake 配置

罗列一下cmake常用的命令。 CMake支持大写、小写、混合大小写的命令。 1. 添加头文件目录INCLUDE_DIRECTORIES 语法:include_directories([AFTER|BEFORE] [SYSTEM] dir1 [dir2 ...]) 它相当于g++选项中的-I参数的作用,也相当于环境变量中增加路径到CPLUS_INCLUDE_PATH变量的作用。 include_directories(../../../thirdparty/comm/include) 2. 添
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

Silver Cow Party POJ - 3268 (固定起点和固定终点的最短路)

思路:有向图。假设在X牧场参加party,从X回家的时候,以X为起点,使用一次Dijkstra算法即可。难点在于去X参加party的最短路如何求解。    这时候我们可以反向建图,即把原来有向图的方向全部反向,形成一幅新的有向图G',此时再对G'使用一次以X为起点的Dijkstra算法即    可求得原图G中其他各点以X为终点的最短路径。 1 #include<iostream> 2 #include<vector> 3 #include<string> 4 #include<c
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

(06)ElasticSearch 分词器

6
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

SAP Cloud for Customer的Container应用设计原理

来自Jerry的同事,Yang Joey。 相信大部分C4C的UI developer包括我刚开始的时候都会比较好奇我们平时写的javascript代码是如何运行在移动设备上的,同样的,我也对这个问题十分感兴趣。于是,以安卓为例子,我把我们发布到安卓应用市场的app解压出来研究了一下。 上图是一个cordova的总体框架的描述,可以看到cordova主要由两部分构成。 第一部分:Cordova Application是Cordova框架独立于不同手机操作系统的一个封装层。具体包括 1)Web
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

datanode无法连接到namenode

datanode无法连接到namenode namenode在清空hadoop.tmp.dir和namenode.dir文件夹重新格式化后,datanode还是无法连接到namenode并报错: hdfs.server.datanode.DataNode: Problem connecting to server: ligfoo/192.168.80.11:9000 datanode无法连接到namenode提供的通讯地址,但是ip和端口都是配置正确的。 这时候应该查看一下namenode的端
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

百度之星初赛三 A最短路1(异或)

最短路一 题目链接:http://bestcoder.hdu.edu.cn/contests/contest_showproblem.php?cid=863&pid=1001 题目: 有一张 nnn 个点的完全无向图,点的标号是 1...n1...n1...n,其中边 (i,j)(i,j)(i,j) 的长度是 i xor jixorji xor j,现在你需要求出点 111 到点 nnn 的最短路的长度。 Input 第一行一个正整数 TTT 表示数据组数 1≤T≤1001\leq T\leq
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0

知乎上获赞率最高的66个神回复,看完整个人都神清气爽

很多时候,一句犀利尖锐或充满哲理的话,往往比长篇大论更能打动人、点醒人。当你遇到人生难题的时候,不妨来看看这66个知乎上获赞率最高的神回复吧。 01 Q:交朋友的标准是什么? A:出世的智者,入世的强者, 或者正常而阳光的普通人。 02 Q:“别让孩子输在起跑线上”有道理吗? A:一辈子都要和别人去比较,是人生悲剧的源头。 03 Q:做哪些事情可以提升生活品质? A:定期扔东西。 04 Q:结婚以后两个人在一起最重要的是什么? A:就当这婚还没结。 05 Q:把学费拿来念书还是环游世界更合适?
分类: 其他 发布时间: 08-24 17:44 阅读次数: 0