使用无界面的方式对斗鱼进行爬取

在这里我们需要使用到一个模块,selenium selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动
分类: 其他 发布时间: 05-12 22:39 阅读次数: 0

使用无界面方式登录人人网

在上一篇提到,使用无界面的方式搜索,查找,此篇是做一个复习 同样,先导入selenium模块 from selenium import webdriver import time driver = webdriver.PhantomJS(executable_path=r'd:\Desktop\phantomjs-2.1.1-windows\bin\phantomjs.exe') 首先,获取界面 driver.get('http://www.renren.com/') 保存界面信息 drive
分类: 其他 发布时间: 05-12 22:39 阅读次数: 0

爬虫常用环境安装

1:urllib urllib.request 这两个库是python自带的库,不需要重新安装,在python中输入如下代码: import urllib import urllib.request response=urllib.request.urlopen("http://www.baidu.com") print(response) 返回结果为HTTPResponse的对象: <http.client.HTTPResponse object at 0x000001929C7525F8
分类: 其他 发布时间: 05-12 22:38 阅读次数: 0

使用线程方式对腾讯招聘进行数据抓取

之前说过腾讯招聘的数据爬取,但是效率实在是有一些低, 这样 ,今天我们使用多线程的方式来爬取数据,然后先简单回顾一下多线程 多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理。 用户界面可以更加吸引人,这样比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度 程序的运行速度可能加快 在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有用了。在这种情况下我们可以释放一些珍贵的资源如内存占用等
分类: 其他 发布时间: 05-12 22:38 阅读次数: 0

java 练习1 验证角谷猜想:

版权声明:此文章为作者筱睿_原创文章,转载请附上博客链接 https://blog.csdn.net/qq_43756486/article/details/88325825 角谷猜想: 任何一个正整数n,如果它是偶数则除以2,如果是奇数则乘以了再加上1.这样得到一个新的整数,如此继续进行上述处理,则最后得到的数一定是1.编写应用程序和小程序分别证明:在3~10000之间的所有正整数都符合上述规则。 应用程序实现 public class jiaogucaixiang { public st
分类: 其他 发布时间: 05-12 22:38 阅读次数: 0

java 练习2 小程序使用文本框和标签比较数值

版权声明:此文章为作者筱睿_原创文章,转载请附上博客链接 https://blog.csdn.net/qq_43756486/article/details/88325960 题例 编写一个小程序(Applet),要求输入两个整数,在状态条显示较大的数,紧跟着显示“islarger”。若二者相等,显示“the two numbers are equal!" import java.awt.*; import java.applet.*; public class comparenumber
分类: 其他 发布时间: 05-12 22:37 阅读次数: 0

java 练习3 掷骰子

版权声明:此文章为作者筱睿_原创文章,转载请附上博客链接 https://blog.csdn.net/qq_43756486/article/details/88326085 题例 编写一个模拟同时掷两个骰子的程序。要用Math. random()模拟产生第一个最于,然后再产生第二个骰子,将两个结果相加,相加的和等于7的可能性最大,等于2和12的可能性最小。图2-2表示了出现36种情况的组合。程序模拟掷3600次骰子,判断求和结果是否合理,共有6种情况的和是7,故在3600次掷骰子的结果中应当
分类: 其他 发布时间: 05-12 22:37 阅读次数: 0

Java 练习4.计算e^x=1+x^1/1!+x^2/2!+...+x^n/n!

版权声明:此文章为作者筱睿_原创文章,转载请附上博客链接 https://blog.csdn.net/qq_43756486/article/details/88360578 练习说明: 写一个applet,采用如下公式计算额 exe ^xex=1+ x1x^1x1/1!+ x2x^2x2/2!+…+ xnx^nxn/n! 从键盘输入x和n;计算 exe^xex的值 applet代码实现 package unit3; import java.awt.*; import java.applet.
分类: 其他 发布时间: 05-12 22:37 阅读次数: 0

java 练习5.复数加减法

版权声明:此文章为作者筱睿_原创文章,转载请附上博客链接 https://blog.csdn.net/qq_43756486/article/details/88928183 复数运算 定义一个附属类,内部有两个实例变量,分别代表实部虚部,编程实现复数加法与减法 代码 public class ComplexNumber { private int realPart; private int imagPart; public ComplexNumber() { this.re
分类: 其他 发布时间: 05-12 22:37 阅读次数: 0

java 练习6整数集合类

版权声明:此文章为作者筱睿_原创文章,转载请附上博客链接 https://blog.csdn.net/qq_43756486/article/details/88983437 定义一个整数集合类integerSet,存储十个20-80之间的数,用数组存储数据 编程实现: (1)判断类对象s1,s2是否相等,集合相等的条件是所有元素相等 (2)输出两集合对象的交集 (3)输出两集合对象的并集 (4)插入一个元素 (5)删除一个元素 代码实现 package unit4; public clas
分类: 其他 发布时间: 05-12 22:36 阅读次数: 0

java 练习7 生成句子

版权声明:此文章为作者筱睿_原创文章,转载请附上博客链接 https://blog.csdn.net/qq_43756486/article/details/89502880 题例要求 编写一个采用随机函数生成句子的游戏。现有四个字符串数组:article,noun,verb,preposition,他们的内容分别是: the、a、one、some、any; boy、girl、dog、town、car; drove、jumped、ran、walked、skipped; to、from、over
分类: 其他 发布时间: 05-12 22:36 阅读次数: 0

机器学习初级算法梳理(一):线性回归

机器学习初级算法梳理(一):线性回归 任务要求 1.基本概念:有监督、无监督、泛化能力、 过拟合欠拟合(方差和偏差以及各自解决办法)、交叉验证; 2.线性回归的原理; 3.线性回归损失函数、代价函数、目标函数; 4.优化方法(梯度下降法、牛顿法、拟牛顿法等); 5.线性回归的评估指标; 6.sklearn参数详解。 1.基本概念 (1)有监督与无监督 机器学习任务包括两类,有监督的和无监督的,有监督的主要包括分类与回归,非监督的主要包括聚类与频繁项集挖掘。 监督学习:给数据给标签,学习出一个模
分类: 编程语言 发布时间: 05-12 22:36 阅读次数: 0

2019长安大学ACM校赛网络同步赛 Trial of Devil

链接:https://ac.nowcoder.com/acm/contest/view-submission?submissionId=40669755 来源:牛客网 题目描述 As an acmer, Devil Aguin particularly loves numbers. This time, with a sequence consisting of n elements 1∼n initially, Devil Aguin asks you to process the sequ
分类: 编程语言 发布时间: 05-12 22:35 阅读次数: 0

Feign Hystrix (HystrixCommonKey) 设置单独接口的超时时间和FallBack

先说结论:HystrixCommonKey生成方法:类名#方法名(入参类型) 然后说原理: 在package feign.hystrix.SetterFactory中看是如何生产commandKey的: package feign.hystrix; public interface SetterFactory { Setter create(Target<?> var1, Method var2); public static final class Default imp
分类: 编程语言 发布时间: 05-12 22:35 阅读次数: 0

对于公司的产品,应该注重推广“品牌”还是“品种”?

要找到自己的产品属于哪个品种的第一,然后去推广这个“新品种” 这一法则与传统的市场营销思维背道而驰。传统营销思维更关注品牌:我应当如何让人们喜欢我的品牌?但在这里,我请大家忘记品牌,从品种的角度思考问题。 在谈到“品牌”时,潜在消费者会处于守势,因为每家公司都在谈论为什么他们的品牌更好。但涉及品种时,他们的包容性更大一些,因为每个人都对新事物感兴趣,很少有人会对哪个品牌更好感兴趣。 当你处于“某个新品种的第一”这个位置时,你要做的就是加强推进这一品种。因为从根本上说,你没有竞争对手。 例子:
分类: 编程语言 发布时间: 05-12 22:35 阅读次数: 0

ENVI_基于RSEI模型的自然生态环境监测

版权声明:转载请注明博文地址 https://blog.csdn.net/weixin_43238426/article/details/90143984 流程图: 生态因子的计算 绿度计算: NDVI 湿度计算: 0.1509b2+0.1973b3+0.3279b4+0.3406b8-0.7112b11-0.4572b12 干度计算: SI=((b11+b4)-(b8+b2))/((b11+b4)+(b8+b2)) IBI=((2b11/(b11+b8))-(b8/(b8+b4)+b3/(b
分类: 编程语言 发布时间: 05-12 22:35 阅读次数: 0

为什么需要纯虚函数

通过它可以指明一个虚拟函数只是提供了一个可被子类型改写的接口。   纯虚函数是在基类中声明的虚函数,它可以在基类中有定义,而且派生类必须定义自己的实现方法。基类不能生成对象,可以使用指针或者引用派生类对象。基类不在基类中实现纯虚函数的方法是在函数原型后加“=0”   virtual void funtion1()=0 引入原因/纯虚函数的作用 为了方便使用多态特性,我们常常需要在基类中定义虚拟函数。 在很多情况下,基类本身生成对象是不合情理的。例如,动物作为一个基类可以派生出老虎、孔雀等子类,
分类: 编程语言 发布时间: 05-12 22:34 阅读次数: 0

java_demo(一) 表驱动模式

表驱动模式 从表中查找数据而不是使用if-else,数组,map等实现。 v2ex上讨论使用表驱动案例 使用hashmap进行类型判断代替if-else类型判断,使用空间换时间,增强代码可维护性 链接 使用枚举,链表实现表驱动模式 package com.lize; import java.util.ArrayList; import java.util.List; public class TableDriveDemo { public static void main(Stri
分类: 编程语言 发布时间: 05-12 22:34 阅读次数: 0

JAVA学习笔记 异常,自定义异常,匿名内部类,

当描述事物的时候,事物的内部还有事物,该事物用内部类来描述 因为内部事务在使用外部事物的内容, class Body { private class XinZang { } public void show() { new XinZang(); } } 内部类定义在局部的时候 1.不可以被成员修饰符修饰 2.可以直接访问外部类的成员,因为还持有外部类中的引用,但是不可以访问它所在的局部中的变量,只能访问被final修饰的局部变量 class Outer { int x=3;
分类: 编程语言 发布时间: 05-12 22:34 阅读次数: 0

测试贴,啥都没有,不用看

测试贴,啥都没有,不用看 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全新的写作体验; 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选
分类: 编程语言 发布时间: 05-12 22:33 阅读次数: 0