Python3爬虫从零开始:库的安装

   抓取网页之后下一步就是从网页中提取信息。提取方式有很多种,可以利用正则表达式进行提请,但是相对而言比较麻烦繁琐。现在有很多强大的解析库供我们使用,如lxml,Beautiful Soupp,pyquery等。本节对其安装进行介绍。

lxml的安装

    lxml支持HTML和XML的解析,支持XPath解析方式。

在Windos下直接利用pip安装,执行命令行命令:

   pip3 install lxml

Beautiful Soup的安装

    Beautiful Suop是Python的一个HTML或XML的解析库,我们可以用它来方便地从网页中提取数据。它的HTML和XML解析器是依赖于lxml库的,所以在此之前需要确保已经成功安装好了lxml库。

依旧是pip安装:

pip3 install beautifulsoup4

pyquery的安装

pyquery提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器。

pip3 install pyquery

tesserocr的安装

爬虫过程中难免遇到各种各样的验证码,而大多数验证码还是图形验证码,这时候可以用OCR(Optical Character Recognition)来识别。

tesserocr是Python的一个OCR识别库,但其实是对tesseract坐的一层Python API封装,所以它的核心是tesseract。因此,在此之前需要安装tesseract。

tesseract下载地址:https://digi.bib.uni-mannheim.de/tesseract/

文件名中带dev的为开发版本,不带的为稳定版本。这里我下载了不带dev的3.05版本。

下载好后勾选上Additional language data(download)选项来安装OCR识别语言的支持包。其他的一路Next就OK。

最后,安装tesserocr即可:

pip3 install tesserocr pillow

安装好的各种库,最后在python目录下\Lib\site-packages中可以查看到。

Mysql的安装

这里安装Mysql参照教程:https://blog.csdn.net/qq_37350706/article/details/81707862

猜你喜欢

转载自blog.csdn.net/qq_26736193/article/details/83046833
今日推荐