37-天亮大数据系列教程之网络爬虫系列之phantomjs最新版教程之概念介绍

目录
1、phantomjs是什么
2、phantomjs的优缺点
3、phantomjs的应用场景
4、相关竞品详情

详情
1、phantomjs是什么

2、phantomjs的优缺点

  • 四大浏览器内核引擎

    • webkit:mac系的safari使用,早期的chrome也是用此引擎
      • blink: chrome浏览器使用,opera正在支持跟进中
      • Gecko: firefox使用
      • Trident: IE浏览器使用
      • 还有一些新兴的、小众的内核引擎。
    • 优点
      • 1、除了不能看到界面之外,可以做任何webkit可以做的事情,如提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等,同时也提供了处理文件I/O的操作,从而使你可以向操作系统读写文件等。
      • 2、因为无界面的特点,所以执行效率比有头浏览器要高很多。
      • 3、JavaScript API交互,还支持加入jquery之类的插件,灵活性、开发效率都很不错。
      • 4、发展较早,社区相对比较丰富、成熟。
      • 5、有基于phantomjs更高级的API封装项目出现,提高了其易用性、开发效率, 如CasperJs等等。
    • 缺点

      • 1、因为无头的特点,如果想做有头操作也可以实现,但相对编程复杂、不够高效。
      • 2、只是基于webkit内核,当网页对webkit不支持或支持不友好时,会比较难处理。
      • 3、2018.03月份宣布,该项目因缺少有效积级的开源贡献,将暂停维护该项目,最新稳定版为phantomjs2.1.1

    3、phantomjs的应用场景

    • 1、网络爬虫
    • 2、网络监测
    • 3、网页截屏
    • 4、无需浏览器的 Web 测试、网页测试自动化
    • 5、网页访问自动化

    4、相关竞品

    • 1、CasperJs

      • 开源的网页浏览脚本处理和测试工具,基于PhantomJS(基于webkit的前端自动化测试工具)和 SlimerJS(基于Gecko的前端自动化测试工具)编写。
      • 简化了完整的网页浏览场景的过程定义,提供了用于完成常见任务的实用的高级函数、方法和语法。
    • 2、selenium(webdriver)

      • 一个开源的、用于Web应用程序测试的工具,现在应用于爬虫非常多见。
      • 直接运行在浏览器中,就像真正的用户在操作一样,也可以选择像phantomjs一样的无头浏览器模式运行。
      • 支持的浏览器包括IE(7, 8, 9, 10, 11),Firefox,Safari,Google Chrome,Opera等。
      • 测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。
      • 测试系统功能——创建回归测试检验软件功能和用户需求。
      • 支持自动录制动作和自动生成, .Net、Java、Perl等不同语言的测试脚本。
    • 3、htmlunit

      • 一款开源的java 实现的web页面分析、测试工具,也多用于早些年的爬虫采集。
      • 亦是一个没有界面的浏览器运行方式,运行速度很快。
      • 采用的java实现的浏览器引擎Rhinojs,模拟js执行、网页操作等,被誉为java浏览器的第一实现。
      • 由于bug很多、api设计、用户体验不佳,现在使用者越来越少了。


天亮教育是一家从事大数据云计算、人工智能、教育培训、产品开发、咨询服务、人才优选为一体的综合型互联网科技公司。
公司由一批BAT等一线互联网IT精英人士创建,
以”快乐工作,认真生活,打造高端职业技能教育的一面旗帜”为愿景,胸怀”让天下没有难找的工作”使命,
坚持”客户第一、诚信、激情、拥抱变化”的价值观,
全心全意为学员赋能提效,践行技术改变命运的初心。

更多学习讨论, 请加入
官方-天亮大数据交流-366784928
群二维码:
这里写图片描述
天亮教育公开课-从小白到大佬修成记-全系列视频地址:http://bbs.myhope365.com/forum.php?mod=viewthread&tid=1422&extra=page%3D1

欢迎关注天亮教育公众号,大数据技术资料与课程、招生就业动态、教育资讯动态、创业历程分享一站式分享,官方微信公众号二维码:
这里写图片描述

天亮教育官方群318971238,
爬虫、nlp技术qq群320349384
hadoop & spark & hive技术群297585251,
官网:http://myhope365.com
官方天亮论坛:http://bbs.myhope365.com/

猜你喜欢

转载自blog.csdn.net/erliang20088/article/details/81911301