前言
robots.txt 里面保存着我们网站对于搜索引擎的爬取做出的一些权限配置，哪些可以爬取，哪些不可以。
操作流程
1、在static文件夹下创建一个 robots.txt 文件
2、文件内容为
- 这里的 # 等价于 // ，注释的意思
- User-agent: * 星号通配符代表允许浏览器可以代理该网址，也可以指定某个浏览器
示例: User-agent: Google - Disallow: 不写代表允许爬虫爬取我们网站的所有内容，写了代表指定的页面不被爬取。
示例:
Disallow: /joe/junk.html
Disallow: /joe/foo.html - 还可以设置Sitemap站点地图，这个是做SEO的重中之重核心点，用于收录我们网站的所有页面，网站排名更靠前，如果你的网站还没有站点地图可以不写Sitemap属性，至于nuxt如何生成sitemap站点地图我重新开篇文章来讲。
- 更多详细配置查看robots官方文档
User-agent: *
Disallow:
Sitemap: 你的网址/sitemap.xml