1.安装anaconda.
先下载anaconda: https://www.continuum.io/downloads, 下载Python 2.7相关的版本, 如: https://repo.continuum.io/archive/Anaconda2-4.3.1-Windows-x86_64.exe
安装完后去命令行输入python, 然后执行import scipy, 如果没报错则安装成功.
2. 安装pyspider.
pip install pyspider
安装完后执行pyspider, 启动pyspider. 进入: http://localhost:5000/
3. 创建任务:
4. 编写代码:
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-04-05 12:32:29
# Project: autohome
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
crawl_config = {
}
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://www.autohome.com.cn/car/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc('ul.rank-list-ul>li').items():
if len(each.find("h4>a").text())>0:
print each.find("h4>a").text()+","+ each.find("div>a.red").text()
5. 依次点击"Run"->"Follow", 然后点击如下图红圈中的按钮. 得到运行结果. 完毕.
运行结果如下:
运行结果 写道
AC Schnitzer X5,110.00-110.00万
AC Schnitzer 7系,
AC Schnitzer X6,
ALPINA B4,109.80-109.80万
Arash AF10,
ARCFOX-1,
ARCFOX-7,
Giulia,33.08-102.80万
MiTo,
Giulietta,
Stelvio,
ALFA 4C,
Disco Volante,
Gloria,
ALFA 147,
ALFA 156,
ALFA 159,
ALFA 8C,
ALFA GT,
Rapide,298.80-364.50万
拉共达Taraf,810.00-810.00万
V8 Vantage,198.80-218.80万
V12 Vantage,289.80-309.80万
阿斯顿·马丁DB9,341.80-388.80万
Vanquish,498.80-537.20万
阿斯顿·马丁DB11,325.90-328.80万
Cygnet,
Virage,
Vulcan,
阿斯顿·马丁AM-RB 001,
阿斯顿·马丁DB10,
阿斯顿·马丁DB5,
阿斯顿·马丁DBX,
V12 Zagato,
阿斯顿·马丁DBS,
阿斯顿·马丁One-77,
宝斯通,28.80-35.00万
奥迪A3,18.49-28.10万
奥迪A4L,29.98-43.00万
奥迪A6L,41.88-74.60万
奥迪Q3,23.42-34.28万
奥迪Q5,40.04-52.53万
奥迪A4,
奥迪A6,
奥迪A1,19.98-28.98万
奥迪A3(进口),29.98-36.98万
奥迪A3(进口)新能源,39.98-40.78万
奥迪S3,39.98-39.98万
奥迪A4(进口),42.38-46.88万
奥迪A5,39.80-62.80万
奥迪S5,67.90-85.80万
奥迪A6(进口),59.98-63.80万
奥迪S6,99.98-99.98万
奥迪A7,59.80-93.80万
奥迪S7,135.80-135.80万
奥迪A8,87.98-256.80万
奥迪S8,198.80-198.80万
奥迪Q3(进口),37.70-42.88万
奥迪Q5(进口),58.80-61.80万
奥迪SQ5,66.80-66.80万
奥迪Q7,75.38-109.88万
奥迪TT,51.98-61.78万
奥迪TTS,65.88-72.98万
奥迪R8,182.30-253.80万
奥迪A2,
奥迪S1,
奥迪e-tron,
奥迪S4,
Prologue,
allroad,
Crosslane Coupe,
奥迪Q2,
奥迪TT offroad,
e-tron quattro,
h-tron quattro,
奥迪Q8,
奥迪SQ7,
Nanuk,
quattro,
奥迪R18,
奥迪Urban,
奥迪100,
奥迪Cross,
奥迪RS 5,109.80-128.80万
奥迪RS 6,159.80-159.80万
奥迪RS 7,169.88-189.80万
奥迪RS 3,
奥迪RS 4,
奥迪RS Q3,
奥迪TT RS,
AC Schnitzer 7系,
AC Schnitzer X6,
ALPINA B4,109.80-109.80万
Arash AF10,
ARCFOX-1,
ARCFOX-7,
Giulia,33.08-102.80万
MiTo,
Giulietta,
Stelvio,
ALFA 4C,
Disco Volante,
Gloria,
ALFA 147,
ALFA 156,
ALFA 159,
ALFA 8C,
ALFA GT,
Rapide,298.80-364.50万
拉共达Taraf,810.00-810.00万
V8 Vantage,198.80-218.80万
V12 Vantage,289.80-309.80万
阿斯顿·马丁DB9,341.80-388.80万
Vanquish,498.80-537.20万
阿斯顿·马丁DB11,325.90-328.80万
Cygnet,
Virage,
Vulcan,
阿斯顿·马丁AM-RB 001,
阿斯顿·马丁DB10,
阿斯顿·马丁DB5,
阿斯顿·马丁DBX,
V12 Zagato,
阿斯顿·马丁DBS,
阿斯顿·马丁One-77,
宝斯通,28.80-35.00万
奥迪A3,18.49-28.10万
奥迪A4L,29.98-43.00万
奥迪A6L,41.88-74.60万
奥迪Q3,23.42-34.28万
奥迪Q5,40.04-52.53万
奥迪A4,
奥迪A6,
奥迪A1,19.98-28.98万
奥迪A3(进口),29.98-36.98万
奥迪A3(进口)新能源,39.98-40.78万
奥迪S3,39.98-39.98万
奥迪A4(进口),42.38-46.88万
奥迪A5,39.80-62.80万
奥迪S5,67.90-85.80万
奥迪A6(进口),59.98-63.80万
奥迪S6,99.98-99.98万
奥迪A7,59.80-93.80万
奥迪S7,135.80-135.80万
奥迪A8,87.98-256.80万
奥迪S8,198.80-198.80万
奥迪Q3(进口),37.70-42.88万
奥迪Q5(进口),58.80-61.80万
奥迪SQ5,66.80-66.80万
奥迪Q7,75.38-109.88万
奥迪TT,51.98-61.78万
奥迪TTS,65.88-72.98万
奥迪R8,182.30-253.80万
奥迪A2,
奥迪S1,
奥迪e-tron,
奥迪S4,
Prologue,
allroad,
Crosslane Coupe,
奥迪Q2,
奥迪TT offroad,
e-tron quattro,
h-tron quattro,
奥迪Q8,
奥迪SQ7,
Nanuk,
quattro,
奥迪R18,
奥迪Urban,
奥迪100,
奥迪Cross,
奥迪RS 5,109.80-128.80万
奥迪RS 6,159.80-159.80万
奥迪RS 7,169.88-189.80万
奥迪RS 3,
奥迪RS 4,
奥迪RS Q3,
奥迪TT RS,
这是一个简单的案例. 具体文档参见: http://www.pyspider.cn/book/pyspider/pyspider-Quickstart-2.html