Python3网络爬虫开发实战——第1章 开发环境

主要是说要爬虫就要安装的工具,仅简单说一下。大部分都能pip安装。

  1. python3 建议安装Anaconda,这样python3和Anaconda同时安装好了,为以后省去不少麻烦。
  2. 请求库: requests, selenium, chromedriver, geckodriver, phantomjs, aiohttp
  3. 解析库: lxml, beautiful soup, pyquery, tesserocr
  4. 数据库:mysql, mongodb, redis
  5. 存储库:pymysql, pymongo, redis-py, redisdump
  6. Web库:flask, tornado
  7. App爬取相关库:Charles, mitmproxy, appium
  8. 爬虫框架:pyspider, scrapy, scrapy-splash, scrapy-redis
  9. 部署相关库:docker, scrapyd, scrapyd-client, scrapyd api, scrapyrt, gerapy

猜你喜欢

转载自blog.csdn.net/byakki/article/details/85389965