实战：Python分布式爬虫必学框架Scrapy打造搜索引擎

• 第1章 课程介绍

  介绍课程目标、通过课程能学习到的内容、和系统开发前需要具备的知识

  •  1-1 python分布式爬虫打造搜索引擎简介试看

• 第2章 windows下搭建开发环境

  介绍项目开发需要安装的开发软件、 python虚拟virtualenv和 virtualenvwrapper的安装和使用、 最后介绍pycharm和navicat的简单使用

  •  2-1 pycharm的安装和简单使用
  •  2-2 mysql和navicat的安装和使用
  •  2-3 windows和linux下安装python2和python3
  •  2-4 虚拟环境的安装和配置

• 第3章 爬虫基础知识回顾

  介绍爬虫开发中需要用到的基础知识包括爬虫能做什么，正则表达式，深度优先和广度优先的算法及实现、爬虫url去重的策略、彻底弄清楚unicode和utf8编码的区别和应用。

  •  3-1 技术选型 爬虫能做什么
  •  3-2 正则表达式-1
  •  3-3 正则表达式-2
  •  3-4 正则表达式-3
  •  3-5 深度优先和广度优先原理
  •  3-6 url去重方法
  •  3-7 彻底搞清楚unicode和utf8编码

• 第4章 scrapy爬取知名技术文章网站

  搭建scrapy的开发环境，本章介绍scrapy的常用命令以及工程目录结构分析，本章中也会详细的讲解xpath和css选择器的使用。然后通过scrapy提供的spider完成所有文章的爬取。然后详细讲解item以及item loader方式完成具体字段的提取后使用scrapy提供的pipeline分别将数据保存到json文件以及mysql数据库中。...

  •  4-1 关于文章网站不能访问的解决办法(本章学习之前的注意事项) 
  •  4-2 scrapy安装以及目录结构介绍
  •  4-3 pycharm 调试scrapy 执行流程
  •  4-4 xpath的用法 - 1
  •  4-5 xpath的用法 - 2
  •  4-6 xpath的用法 - 3
  •  4-7 css选择器实现字段解析 - 1
  •  4-8 css选择器实现字段解析 - 2
  •  4-9 编写spider爬取jobbole的所有文章 - 1
  •  4-10 编写spider爬取jobbole的所有文章 - 2
  •  4-11 items设计 - 1
  •  4-12 items设计 - 2
  •  4-13 items设计 - 3
  •  4-14 数据表设计和保存item到json文件
  •  4-15 通过pipeline保存数据到mysql - 1
  •  4-16 通过pipeline保存数据到mysql - 2
  •  4-17 scrapy item loader机制 - 1
  •  4-18 scrapy item loader机制- 2