一.官网链接 https://docs.scrapy.org/en/latest/topics/architecture.html
二.Scrapy 需要安装的包
#Windows平台
# pip3 install scrapy 如果不能安装安装下面的 安装即可
1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https://www.lfd.uci.edu/~gohlke/pythonlibs 3、pip3 install lxml 4、pip3 install pyopenssl 5、下载并安装pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/ 安装pywin32 6、下载twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 安装wheel 7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl 也可直接settings 中安装 Twisted 8、pip3 install scrapy #Linux平台 1、pip3 install scrapy
三.命令行工具
创建项目只能cmd终端中用命令来创建
cd 到我们要创建的项目文件夹中 scrapy startproject myscrapy
#1 查看帮助 scrapy -h scrapy <command> -h #2 有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要 Global commands: startproject #创建项目 scrapy startproject myscrapy
# 项目爬虫名 爬取的域名
genspider #创建爬虫程序 scrapy genspider cnblogs cnblogs.com settings #如果是在项目目录下，则得到的是该项目的配置 runspider #运行一个独立的python文件，不必创建项目 shell #scrapy shell url地址 在交互式调试，如选择器规则正确与否 fetch #独立于程单纯地爬取一个页面，可以拿到请求头 view #下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求 version #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本 Project-only commands: crawl #运行爬虫，必须创建项目才行，确保配置文件中ROBOTSTXT_OBEY = False check #检测项目中有无语法错误 list #列出项目中所包含的爬虫名 edit #编辑器，一般不用 parse #scrapy parse url地址 --callback 回调函数 #以此可以验证我们的回调函数是否正确 bench #scrapy bentch压力测试 #3 官网链接 https://docs.scrapy.org/en/latest/topics/commands.html
四 项目结构以及爬虫应用简介
今日终结
回顾： -selenium -自动化测试 -显示和隐示等待 -寻找控件的方法 -id -css选择器 -xpath -对控件进行操作 -赋值 -点击 -获取cookie（重要） -搭建自己的cookie池 -验证码、加密 -用程序破解 -打码平台 -自己识别 -破解知乎登陆 -python执行js代码 -js动态调式 -动作链 -执行js -前进后台 -选项卡切换 -爬取京东商品信息 -css选择器 -request-html -手机爬虫 今日内容： -mongodb -操作 -scrapy -安装 -pip3 install scrapy -先装Twisted -装pywin32 -新建项目 -scrapy startproject 项目名字 -新建爬虫 -scrapy genspider 爬虫名 爬取的域名 -项目目录介绍 -spiders -所有的爬虫程序 -items.py -类似于django的model类 -middlewares.py -中间件 -pipelines.py -持久化相关 -settings.py -配置文件 -scrapy.cfg -部署相关 -运行爬虫 -scrapy crawl cnblogs --nolog -爬取数据 //*[@id="post_list"]/div[1] 实际工作流程： -正常情况：公司配电脑 -配mac -配台式、配windows笔记本 -乌班图系统 -到公司 -git账号：码云、gitlab，github -代码拉下来 -跑起代码来 -模块装不上：wheel文件安装 -写代码 -提交到git -nginx+uwsgi+django -uwsgi把django项目跑起来 -前端人员要跟你联调 -测试人员会提交bug -修复bug，提交，再测试 -发布版本