我爱我家数据爬取

1 import requests 2 from lxml import etree 3 import mysqlhelper 4 5 base_url = 'https://bj.5i5j.com/zufang/huilongguan/n%s/' 6 myhelper = mysqlhelper.MysqlHelper() 7 sql = 'insert into woaiwojiaxinxi(title, space, address, follow, price) valu
分类: 其他 发布时间: 08-19 23:41 阅读次数: 0

MapReduce-输入分片与记录

一个输入分片(split)就是一个由单个map操作来处理的输入块。每一个map操作只处理一个输入分片。每个分片被划分为若干个记录,每条记录就是一个键值对,map一个接一个地处理记录。输入分片和记录都是逻辑概念,不必将它们对应到文件,尽管其常见形式都是文件。在数据库的场景中,一个输入分片可以对应于一个表上的若干行,而一条记录对应到一行(DBInputFormat正式这么做的,这种输入格式用于从关系数据库读取数据) 输入分片在Java中被表示为InputSplit接口 InputSplit包含一个
分类: 其他 发布时间: 08-19 23:41 阅读次数: 0

循环双向链表-C语言实现

直接贴出完整代码,每个函数的功能及部分代码的解释都在注释中,代码亲测可行 /* 2018.8.15 注意三点: 1.不要将循环写成if    //很尴尬,主要是我犯了这个错误,找了半天还没找出来,第二天看的时候才发现,非常的尴尬 2.循环链表的判空操作是 p->rear != *L 3.p = *L,循环体中用p->rear做条件 这种写法便于对当前结点的前一结点操作,插入、删除、修改操作使用这种形式
分类: 其他 发布时间: 08-19 23:41 阅读次数: 0

莫烦theano学习自修第一天【常量和矩阵的运算】

1. 代码实现如下: #!/usr/bin/env python #! _*_ coding:UTF-8 _*_ # 导入numpy模块,因为numpy是常用的计算模块 import numpy as np # 导入theano的矢量 import theano.tensor as T # 导入theano的函数定义 from theano import function # 导入theano的结果的计算公式查看 from theano import pp if __name__ == "
分类: 其他 发布时间: 08-19 23:41 阅读次数: 0

安装Scrapy包报错,error: v is required.

下载了Twisted的wheel包,安装pip install Twisted包, 再install,Scrapy的包.才解决. 真是试了好久,一直都是用的命令,pip install scarpy,首先是总是超时,后来百度到,需要换成国内的源才行. 换源之后依然不行,后来找这个error: Microsoft Visual C++ 14.0 的包,也没有找到.源站感觉依然被墙了. 后来知道了scrapy,很多python库有一些依赖库,就装了一遍那些依赖库,当时也都是用的pip命令直接安装的
分类: 其他 发布时间: 08-19 23:41 阅读次数: 0

TW实习日记:第24-25天

  项目的交付期是真的赶...一直在不断地修改一些小bug,然后消息推送功能出了一个问题,就是不知道为什么PC端会发送两次消息到移动端后台。其中第一条正常第二条会有乱码不正常,可以说是很奇怪了,一开始都认为乱码是编码的问题,但这不是根本原因,还是得找到为什么会发送两次请求的原因才能解决这个bug。这两天都是在根据测试人员的反馈来修改bug,基本上没什么好写的我觉得。就唯一一点,在发送请求时,会自动转码,然后在web容器中自动解码,所以如果请求方将数据转码,那么在后台就需要多一次解码才能拿到正确
分类: 其他 发布时间: 08-19 23:41 阅读次数: 0

妹子图图片爬取

1 import requests 2 from lxml import etree 3 import os 4 from urllib import request 5 import mysqlhelper 6 7 8 myhelper = mysqlhelper.MysqlHelper() 9 sql = 'insert into meizitu(name,pic_url) values(%s,%s)' 10 11 base_url = 'http://www.mzi
分类: 其他 发布时间: 08-19 23:41 阅读次数: 0

springboot的@ResponseBody处理null属性值和时间格式

1、继承处理类ObjectMapper import java.io.IOException; import com.fasterxml.jackson.core.JsonGenerator; import com.fasterxml.jackson.core.JsonProcessingException; import com.fasterxml.jackson.databind.Jso...
分类: 其他 发布时间: 08-19 23:40 阅读次数: 0

es7 async await语法糖

async: async 声明一个函数为异步处理函数,它的返回值总是为Promise对象。在函数内return x,会以Promise.resolve(x)的方式呈现。 示例: async function asyncFn (str) { return str } let asyncRet = asyncFn('I am a Async Function.') asyncRet.th...
分类: 其他 发布时间: 08-19 23:36 阅读次数: 0

http请求头和响应头设置

js设置请求头: var xhr = XMLHttpRequest ? new XMLHttpRequest() : new ActiveXObject("Microsoft.XMLHTTP") xhr.open(type, url) xhr.setRequestHeader(key, value) // 设置http请求头,且必须在xhr.open()函数之后设置 xhr.send() ...
分类: 其他 发布时间: 08-19 23:36 阅读次数: 0

vue-cli配置总结

1、vue-cli处理style中background-image的url路径: 在build/build.js中找到ExtractTextPlugin的publicPath对象,根据静态资源的位置修改,一般为'../../'
分类: 其他 发布时间: 08-19 23:36 阅读次数: 0

目标规划GP

目标规划 GP    一、目标规划简介          线性规划只能解决一组线性约束条件下,一个目标的最大值或最小值的问题。在实际 决策中,衡量方案优劣要考虑多个目标,这些目标中,有主要的,也有次要的;有最大值 的,也有最小值的;有定量的,也有定性的;有相互对立的,也有相互补充的。对于这些 问题,线性规划无法求解。         目标规划是在线性规划的基础上,为适应经济管理中多目标决策的需要而...
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

最短路径(Dijkstra、Floyd)

Dijkstra(迪杰斯特拉)算法——求单源最短路径          该算法又称为标号法。用于计算一个节点到其他所有节点的最短路径。主要特点是以起始点为中心向外层层扩展,直到扩展到终点为止。        ps:该算法要求图中不存在负权边。      动画演示:       Dijkstra算法的通用MATLAB程序 function [mydistance,mypath]=...
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

帆船生产安排问题——线性规划

帆船生产安排问题   1、问题   SAILCO公司需要决定下四个季度的帆船生产量。下四个季度的帆船需求量分别是40条,60条,75条,25条,这些需求必须按时满足。每个季度正常的生产能力是40条帆船,每条船的生产费用为400美元。如果加班生产,每条船的生产费用为450美元。每个季度末,每条船的库存费用为20美元。假定生产提前期为0,初始库存为10条船。如何安排生产可使总费用最小?   ...
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

广义表的长度和广义表的深度

广义表是对线性表的扩展——线性表存储的所有的数据都是原子的(一个数或者不可分割的结构),且所有的数据类型相同。而广义表是允许线性表容纳自身结构的数据结构。 广义表定义: 广义表是由n个元素组成的序列:LS = (a1,a2, ... an);其中 ai是一个原子项或者是一个广义表。n是广义表的长度。若ai是广义表,则称为LS的子表。 广义表表头和表尾: 若广义表LS不空,则a1,称为LS的表头...
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

图片定时轮播

图片定时轮播   代码: <!DOCTYPE html > <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>无标题文档</title> <style type="text/css&
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

主导航栏下拉菜单

主导航栏下拉菜单   代码: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> &lt...
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

鼠标悬停选项卡切换

鼠标悬停选项卡切换   代码: <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>鼠标悬停选项卡切换</title> <style type="text/css"> #div1{
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

实时显示系统时间

实时显示系统时间   代码: <!DOCTYPE HTML> <html> <head> <title>实时显示系统时间</title> <meta charset="utf-8"> <script type="text/javascript"> windo
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0

Kruskal算法——求最小生成树

          例子:用kruskal算法求最小生成树                                    step1:去掉所有边                                                                                                              step2: 边集数组...
分类: 其他 发布时间: 08-19 23:33 阅读次数: 0