python使用scrapy爬取项目demo（已解决）

第一步需要下载配置scrapy

在这个页面调用命令行工具

pip install scrapy -i https://pypi.douban.com/simple

我这边就直接镜像到国内的了，如果你有魔法可以通过外国服务器下载。

安装好后可以按住win+r，输入cmd打开命令行窗口检测一下

 

 如果你像我这样说明你就安装好了---

然后找到你的项目文件：

scrapy startproject 项目名称

然后cd到文件内部（会有提示的）

scrapy genspider 爬虫名称 要爬取的限制域

这些都搞完了你就会获取一个完成的项目文件

 我这边配置好demo了

 除了函数内部的文件都是自动生成的，简单爬取一下内容就可以了

import scrapy


class DemoSpider(scrapy.Spider):
    name = "demo"
    allowed_domains = ["xxxx.com"]
    start_urls = ["http://xxxxxx.com"]

    def parse(self, response):
        content = response.text
        with open('eee.html', 'w', encoding='utf-8') as fp:
            fp.write(content)
        # # pass

后续还会更新，我也是一个python初学者，一起学习吧~加油哦~