Python Scrapy突破反爬虫机制（项目实践）
对于 BOSS 直聘这种网站，当程序请求网页后，服务器响应内容包含了整个页面的 HTML 源代码，这样就可以使用爬虫来爬取数据。但有些网站做了一些“反爬虫”处理，其网页内容不是静态的，而是使用 JavaScript 动态加载的，此时的爬虫程序也需要做相应的改进。 使用 shell 调试工具分析目标站点 本项目爬取的目标站点是 https://unsplash.com/，该网站包含了大量高清、优美的图片。本项目的目标是爬虫程序能自动识别并下载该网站上的所有图片。 在开发该项目之前，依然先使用 F
pytorch上yolov3实现(1-未知)
2019.4.17 等周末的时候 我把训练的过程写好 刚刚写博客的间隔已经完成了 进公司第二天，实现pytorch版本的yoloV3 首先从https://github.com/eriklindernoren/PyTorch-YOLOv3 下载了代码。下载后，按照需求配置里环境，原来电脑是ubuntu16.04，python2.7被我换成了python3.5换了以后,pip install报错就修改里usr/bin里面打pip，pip3两个文件就可以pip。 然后下载按照说明下载了yolo3.
linux中硬盘分区，格式化，swap分区
1.MBRMBR(MasterBootRecord):主引导分区，为一个编号为0的512字节的扇区446bytes：bootloader,引导加载器程序，主引导记录，引导启动操作系统的程序；64bytes：分区表，每16bytes标识一个分区，一共只能有4个分区；2bytes：表示MBA是否有效；55AA为有效；注意：1)主分区最多四个，扩展分区只能一个2)扩展分区不能单独使用，要继续分成逻辑分区
【matlab】 matlab实现计算两张图片的相似度
通过直方图的方法 每张图片都可以生成其灰度图像直方图（histogram）。如果两张图片的直方图很接近，就可以认为它们很相似。 因此，此处我们利用两幅图像的直方图来进行相似度的比较。原理较为简单，具体算法如下： 1、获得输入灰度图像的直方图分布； 2、将直方图划分为64个区，每个区为连续的4个灰度等级； 3、对每个区的4个值进行求和运算，得到1个数据，如此，会得到64个数据，即为该幅图像的一个向量（指纹）； 4、根据步骤【1、2、3】，我们将输入的两幅图像转化为了2个向量，记为A、B； 5、计
【matlab】 matlab如何写函数并且调用函数
写博客就是为了干货 ——老罗如是说 matlab如何写函数？ 1，点击new M-file按钮，进入函数编辑界面 2，编辑函数 编辑函数规则如下： function y=fun(a) ... 一些规则，随便怎么写 y = ... //这点必须要有，让y把值给弄出去 1 2 3 举个实际的简单例子： function y = jia(x)y = x*x+5; 1 2 上述函数就实现了传进来x,出去x*x+5的过程 调用函数: 1，把上述写好的函数保存，注意函数名要跟保
【编译原理】 NFA转变为DFA的子集构造法
整体的步骤是三步： 一，先把正规式转换为NFA（非确定有穷自动机）, 二，在把NFA通过“子集构造法”转化为DFA， 三，在把DFA通过“分割法”进行最小化。 一步很简单，就是反复运用下图的规则，图1 这样就能转换到NFA了。 给出一个例题，来自Google book。本文主要根据这个例题来讲，图2 二.子集构造法。 同样的例题，把转换好的NFA确定化，图3 这个表是从NFA到DFA的时候必须要用到的。第一列第一行I的意思是从NFA的起始节点经过任意个ε所能到达的结点集合。Ia表示从该集合开始
【C++】 用sort对string类型进行排序
前言 这个问题来自于leetcode上面的一道题 Valid Anagram Given two strings s and t, write a function to determine if t is an anagram of s. For example, s = “anagram”, t = “nagaram”, return true. s = “rat”, t = “car”, return false. Note: You may assume the string cont
【matlab】 matlab中strcat函数的妙用
简单说两句，这个函数经常是用在批量处理的时候，这时候我们需要用到for循环，然后这个函数能够让变量跟路径产生一些关系，这个时候我们就可以对其进行批量化的操作 给出一个例子 for i = 1:50 filename = strcat(‘d:\视频测试\’,int2str(i),’.jpg’); end %通过如上代码，每次循环filename存的都是d:\视频测试\i.jpg 不知道各位是否懂了，下次有时间放上具体实例
【专业造轮子】 一位大神的编程之路，让我大吃一惊
vczh，本名陈梓瀚，因知乎的个人信息介绍上写有 “专业造轮子”，所以江湖人称 “轮子哥”。 vczh 大学时代就在微软实习，毕业后即加入微软。开始时是在微软上海，后来进入北京的微软亚洲研究院。现已移居美国西雅图，在 Office 组做工程师。 前几天收到网友的邀请参加这个活动，想想好像今年的惯例回顾博客文章没有写，于是干脆就写一遍。本文的前半部分基本截取自4年前的一篇博客文章：进入 2012 — 回顾我走过的编程之路，后半部分加入最近几年的进展。看过这篇老博客的朋友们可以直接从目录跳转至 M
【VBS脚本教程1】 写一个说话的语音程序
代码很简单，两行即可，可以用来送女朋友~ 代码 set objTTS = createobject("sapi.spvoice")objTTS.speak "您好，第一个语音程序" '粘贴代码修改为后缀为vbs的文件然后运行即可 1 2
【C++】 STL迭代器使用详解，很好很详细
写在前面，迭代器这种东西，就是为了使访问简单！！ 容器：：iterator iter; for(iter= 容器.begin();iter!=容器.end();iter++){ cout<<*iter或者是 iter->first等等之类的 //迭代器就是这么个套路 } 然后就是set，set就是一个集合，仅此而已，而其他的，像是map比较有意思，提供了两种数据结构的对应，而其他的我们不要简单的认为是队列和栈，我们要认为这是一种容器，能够包含多种数据结构，用了这种思想，我们就会想的更明白 下面
dll教程1 如何编写dll 一步一步，全部可行
我们需要学会使用dll是为了模块化编程，这点非常好，而编译调用dll我们需要解决如下的问题： 1，如何声明dll中的函数及文件 2，如何在应用程序中调用dll 在如下的文章中，这两个问题的语法都能够得到解决 在大学大一的时候学的是C，然后后来大二的时候专业又开了C++这个课程，然后再后来自己又自学了一点VC++，大三的时候也试着编写过一个MFC的最简单的窗口程序。到大四的时候，自己又做了一个GIS的项目，是用C#.NET来编写的，然后发现C#上手好容易，而且还大部分语法规则都沿用了C，C++的
【matlab】 matlab中如何三维画球
首先介绍一个函数ellipsoid,这个函数是在三维立体空间画椭圆用的 这个函数参数如下：ellipsoid(x,y,z,x1,y1,z1) x,y,z代表了椭球的中心,x1,y1,z1代表了x,y,z方向的分量 然后如果是要画球的话，把这三个分量全部都写成一致的数据such as半径就成了 下面举个例子，画出球心为8 9 10，半径为2的球 [x,y,z] = ellipsoid(8,9,10,2,2,2);surf(x,y,z) %画出来球axis equal %保证各个维度的长短一致a
【经典算法】 求一个数的因子数
问题分析 如：整数 4，有1， 4， 2 共3个因子。 现在就是输入一个数num，求其因子数。 方法：判断数，如果数不为1，则其因子数起码有两个，（自身和1） 然后从i=2开始到sqrt(num)做循环，如果num%i==0,则因子数+2 当然如果两个因子数相同，是必须要去重的 思路优点 由于循环做的好，没有了类似于24 = 4*6 = 6*4的这种困扰 1 代码 #include <iostream>#include <cmath>using namespace std;int num(in
程序员，你为什么变了？
是什么力量，让任何地方的程序员都享有「免于体面的自由」？ 在今天的社会里，工程师往往代表着知识水平和社会地位。每当普通人听到这个头衔，总会报之以敬仰的目光： 但有一种工程师，虽然也是如假包换的高级技术人员，却很少能享受到和同类相近的社交待遇：程序员。 和工程师的耀眼形象不同，多数人眼里的程序员更接近于一群情趣干瘪的宅男，而非高智商高收入的精英群体。网络上嘲笑程序员的段子俯拾皆是，简直发展成了一种文化现象： 客观而言，这些评价并不公正。作为高级技术人员，多数北上广的程序员都能做到月入万元以上，毫
中国互联网公司的996，为何引起全球的关注?
最初是一个人的抱怨，但现在已经是一个16万人社区的事，以开源软件开发的方式协作。 一场关于劳工权益的抗议在过去一周里爆发，让中国互联网公司习惯的996（早九点、晚九点、一周六天）加班时间成为中国乃至全球关注的焦点。 有程序员发起了一个抵制996工作制的项目996.ICU。讨论从技术社区开始，在互联网公司的微信群流传开来，蔓延到豆瓣、知乎，很快上了微博热搜，在百度的搜索热度达到平日的十倍。《中国青年报》、《南方日报》的报道被项目发起人标注进了项目的说明页面。 一周下来，事件的影响在海外逐渐升温。
今日推荐
周排行