[HDU3966]Aragorn's Story

版权声明:辛辛苦苦码字,你们转载的时候记得告诉我 https://blog.csdn.net/dxyinme/article/details/84670796 Time Limit: 10000/3000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) Problem Description Our protagonist is the handsome human prince Aragorn comes from The
分类: 其他 发布时间: 12-02 23:29 阅读次数: 0

beautifulSoup库中的css选择器介绍

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/80141924 beautifulSoup库中的css选择器介绍 在BeautifulSoup中,要使用css选择器,那么应该使用soup.select()方法。应该传递一个css选择器的字符串给select方法 以下介绍五种常用的css选择器(主要用于爬虫)。 1.根据标签名称选择 根据标签名称查找的话,直接写相应标签就可以 p{ b
分类: 其他 发布时间: 12-02 23:29 阅读次数: 0

使用正则表达式和json.loads,将JSON文件中的数据转化为pandas.DataFrame

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83218271 使用正则表达式和json.loads,将JSON文件中的数据转化为pandas.DataFrame 说在前面 在使用Scrapy框架(爬虫框架)爬取网页信息时,会定义一个ITEMS,然后通过PIPLINE将数据写入到JSON文件中,如果是按行写入,则最后得到的数据就不是一个标准JSON格式的数据,在进行数据分析时,就会比较艰难。所以本文旨在用两
分类: 其他 发布时间: 12-02 23:29 阅读次数: 0

CrawlScrapy框架爬取Boos直聘职位信息

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83218705 写在前面和推荐学习 零基础:21天搞定Python分布爬虫 在本文中使用CrawlScrapy框架结合代理来实现对Boos直聘职位信息的爬取。 简单说明Scrapy框架 主要流程 1.爬虫发送一个请求给引擎 2.引擎将这个请求发送给调度器 3.调度器按照一定的方式进行整理,在将请求发送给引擎 4.引擎再次将请求发送给下载器中间件,去到网络中请求
分类: 其他 发布时间: 12-02 23:28 阅读次数: 0

R语言中的数据结构

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83245491 R语言中的数据结构 文本中对R语言中的数据结构进行总结,以说明和举例的方式展现出来! 主要包含:向量,数组,列表,数据框,因子,矩阵,和一些常用函数。 注:以下代码均可直接运行! 1、向量 向量,用于存储数值型,字符型,逻辑型数据的一维数组 同一向量中无法混杂不同模式的数据 举例: 创造一个包含1到5的数字的向量 a<-c(1:5) a 添加
分类: 其他 发布时间: 12-02 23:28 阅读次数: 0

python--boss直聘数据可视化

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83247185 python 数据可视化 本文中主要使用matplotlib和Pandas对数据进行可视化 数据来源:爬取的BOOS直聘数据分析数据 数据展示 本文中针对以上数据,对salary,company_info,work_time,education这几个信息进行数据可视化,做出直方图和饼图 整体框架 先看一下使用的包吧 import re #正则表
分类: 其他 发布时间: 12-02 23:28 阅读次数: 0

python爬虫之曼妙的宇宙

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83281062 这几天发现了一个很有意思的网站《Astronomy Picture of the Day Archive》,翻译过来就是:天文图片的每日档案。https://link.zhihu.com/?target=https%3A//apod.nasa.gov/apod/archivepix.html 天文图片的每日档案 这里我们写一个爬虫,将这些图片爬
分类: 其他 发布时间: 12-02 23:28 阅读次数: 0

python多线程之Lock版生产者消费者模式

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83281098 python多线程之lock版生产者消费者模式,谨以此文记之。 python多线程技术,仁者见仁智者见智,有道其鸡肋,有道其乖张。暂且不去评论。本文仅述其浅浅的应用罢了。如下见祥例说明。 本文利用多线程技术,模拟在python爬虫环境中的应用,分为生产者部分和消费者部分,也就是将一个爬虫项目分为两个部分,获取将要爬的取详细信息的URL部分,和爬
分类: 其他 发布时间: 12-02 23:27 阅读次数: 0

使用PhantomJS爬取股票信息

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83351660 写在前面 前一段时间使用python+PhantomJS爬取了一些股票信息,今天来总结一下之前写的爬虫。 整个爬虫分为如下几个部分, 爬取所有股票列表页的信息 爬取所有股票的详细信息 将爬取到的数据写入cvs文件中,每一种股票为一个CSV文件 爬取所有股票列表页的信息 先来看一下网页 如上,我们准备先获取所有的股票名称和股票代码,然后构造成新的
分类: 其他 发布时间: 12-02 23:27 阅读次数: 0

R语言正则表达式

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83479313 R语言正则表达式 本文主要说明R语言的正则表达式,主要是一些简单的函数和stringr包常用的方法 正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。 一些R自带的正则函数 grep,主要参数为匹配规则,待匹配的字符串,返回向量中匹配成功的字符串的下标 s<-c('1234abc456','123abcdefabc') #返回下标
分类: 其他 发布时间: 12-02 23:27 阅读次数: 0

R语言Kmeans聚类实例

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83479547 随机数生成40对点,每一个点2维,聚成4类,并且画出聚类图形! Kmeans算法原理 K均值法先指定聚类数,目标是使每个数据到数据点所属聚类中心的总距离的平方和最小,规定聚类中心点时则是以该类数据点的平均值作为聚类中心。 步骤 随机选取K个数据点作为(起始的)聚类中心点; 按照距离最近原则分配数据点到对应类; 计算每类的数据点平均值,找到新的聚
分类: 其他 发布时间: 12-02 23:27 阅读次数: 0

R语言FOR循环打印9*9乘法表

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83479655 R语言FOR循环打印9*9乘法表 算法原理 使用for循环打印99乘法表时,需要两重循环,第一重循环乘数,第二重循环表示被乘数,打印当乘数大于等于被乘数时的结果,并在每次第二重循环结束时换行。 代码和结果展示 for(x in c(1:9)){ for(y in c(1:9)){ if(x>=y){ z<-x*y
分类: 其他 发布时间: 12-02 23:26 阅读次数: 0

R语言while循环计算圆周率

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83479795 R语言while循环计算圆周率 原理说明 计算圆周率的方法很多,在这里我们使用概率的方法来计算圆周率(蒙特卡洛法)。 假设有一个正方形,以其一个顶点为圆心,正方形的边长为半径,画1/4圆。则可以在正方形中随机产生足够多个点,点落在圆内的概率就是圆面积和正方形面积的比值,所以落在圆内的点的个数比上所有的点的个数(在正方形内的点)就等于落在圆内的概
分类: 其他 发布时间: 12-02 23:26 阅读次数: 0

python爬取古诗文网站诗文一栏的所有诗词

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/83999755 写在前面 曾经,我们都有梦,关于文学,关于爱情,关于一场穿越世界的旅行,如今我们深夜饮酒,杯子碰在一起,都是梦破碎的声音 曾经,面对诗文如痴如醉,而如今,已漠眼阑珊,风起云涌不再,呜呼哀哉,索一首诗篇以慰藉烁烁华年 卷一 前几日,发现古诗文网站,如获至宝,便被一时私念驱使,将其中的诗文一栏文章全部爬下来了。此一文以记之。 卷二 爬取整个过程如偷
分类: 其他 发布时间: 12-02 23:26 阅读次数: 0

使用WX包实现一个简易的古诗文欣赏软件

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/84000131 写在前面 用python的WX包来实现一个简易的古诗文阅览软件,帮助自己欣赏古诗文,软件如下: 所有显示的古诗文均来自爬虫栏中的《python爬取古诗文网站诗文一栏的所有诗词》爬到的信息,现在将他们随机展示出来。 开始正文 1.展示导入的包 在此,主要用到3个包,分别为生成图形框的包,操作MYSQL的包和生成随机数的包 import wx im
分类: 其他 发布时间: 12-02 23:26 阅读次数: 0

python中的复制

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/84350393 复制 python中复制有三种 引用 浅复制 深复制 引用 引用操作是用‘=’来赋值,两个变量使用同一块地址区域,使用相同的数据 代码测试 a = np.arange(12) b = a print(b is a) b.shape = 3,4 print(a.shape) print(id(a)) print(id(b)) 结果如下 True
分类: 其他 发布时间: 12-02 23:25 阅读次数: 0

python分析log图像趋势变化

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/84350499 本文分析log函数在不同底的情况下,图像趋势的变化 分别画出三个不同底数的log函数图像进行展示 log1.5(x) log2(x) log2.5(x) 代码展示 def log_change(): #得到底数 x = np.arange(0.05,3,0.05) #计算对应的Y值 y1 = [math.log(a
分类: 其他 发布时间: 12-02 23:25 阅读次数: 0

数据可视化--世界幸福指数报告

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/84593604 世界幸福指数报告可视化 数据集描述 Kaggle提供的数据集包括2015、2016、2017的报告。每年的报告的形式为CSV文件:2015.csv, 2016.csv。由于2017报告的格式与之前两年的不同,本次项目中只对2015和2016年的报告进行分析。 数据详细情况 Country: 国家名称,字符串 Region: 所属区域,字符串 H
分类: 其他 发布时间: 12-02 23:25 阅读次数: 0

python数据分析之你不知道的bra

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/84660331 曾经,我把目光放在你身体上四分位的地方,发现了世界的美好。。。 之后,山水流转,时光荏苒,不再从前。。。 此一文,献给过往。 先上张图:好奇怪,为什么是这么个比例[皱眉] 这篇文章分为两个部分,python爬虫和数据分析。爬取京东bra一些数据,并进行分析,在上帝视角看一看bra的秘密。 第一部分,爬虫部分。 爬虫部分利用python和sele
分类: 其他 发布时间: 12-02 23:25 阅读次数: 0

django中的ORM模块

版权声明:转载请声明出处,谢谢! https://blog.csdn.net/qq_31468321/article/details/84714438 写在前面 ORM,全称Object Relational Mapping,中文叫做对象关系映射,通过ORM我们可以通过类的方式去操作数据库,而不用再写原生的SQL语句。通过把表映射成类,把行作实例,把字段作为属性,ORM在执行对象操作的时候最终还是会把对应的操作转换为数据库原生语句 django中ORM模型建立步骤 建立一张表(在数据库中,手动
分类: 其他 发布时间: 12-02 23:24 阅读次数: 0