30天了解30种技术系列---(16)可视化爬虫工具---Portia

     

      Portia是scrapyhub开源的一款可视化的爬虫规则编写工具，提供可视化的Web页面，你只需要通过点击标注页面上你需要抽取的数据，不需要任何编程知识即可完成规则的开发。（动态网页需要自己编写JS解析器）。

      Portia的项目地址为：https://github.com/scrapinghub/portia

      安装方式如下：

       

git clone https://github.com/scrapinghub/portia

 

     在docker的环境下构建

docker build -t portia .

    启动，然后可以通过9001 端口进行访问，

docker run -i -t --rm
-v <PROJECT_FOLDER>/data:/app/slyd/data:rw \
-p 9001:9001 \
--name portia \
portia

访问地址：
http://localhost:9001/static/index.html

    

    效果如下：
   

 
  


 


 

       

我们可以将数据写入mysql 等只需要进行简单的，配置，跟多的内容大家可以去详细了解

 大家如果对于哪个技术比较感兴趣，可以私信，我会有重点的在后续文章进行展开。

 

 更多精彩请关注微信 : 图灵搜索

 大家也可以使用中国第一个为程序员打造的搜索引擎：https://www.tulingss.com 进行查看。