Big Data Tools 1.5:Amazon EMR 支持、阿里云 OSS 集成等


在此新版本的 Big Data Tools 中,我们为数据工程师增加了对更多工具的支持,包括 Amazon EMR 数据处理平台和阿里云对象存储服务。 现在,您可以直接从 IDE 中使用它们。 下文介绍了此版本引入的以上功能和其他增强功能。


Amazon EMR 支持


现在,您可以监控 Amazon EMR1 数据处理平台中的群集和节点。


人性化的简单 UI 界面助力使用群集

点击一下,即可创建到以下位置的连接:

  • HDFS

  • Hadoop 和 Spark 监控

    扫描二维码关注公众号,回复: 14111579 查看本文章
  • Zeppelin

  • AWS S3

  • SFTP 主节点和数据节点


您还可以通过自动创建的 SSH 隧道打开内部群集服务网页(如 Ganglia2)。


在 Amazon EMR 上使用

Spark Submit 运行应用程序

您可以在 IDE 中配置所有 Spark-Submit 参数,无需使用控制台,还可以将 jar 从本地机器上传到 S3 或类似群集。


远程文件系统支持改进


阿里云对象存储服务支持

阿里云 OSS3 已被添加到插件支持的远程和云文件存储列表,列表中包括 AWS S3、Google Cloud Storage、Microsoft Azure 等。 现在,您可以在连接阿里云 OSS 后直接从 IDE 访问其数据。


新的文件查看器

使用适用于远程文件系统的全新全尺寸查看器,您可以找到有关文件夹和文件的更多元信息,并在单独的面板中查看文件信息。



以上就是此主要版本中最值得注意的亮点。 有关新功能和增强功能的完整列表,请参阅 JetBrains Big Data Tools 插件页面4上的“最新变化”。 请在我们的问题跟踪器5中分享您的反馈并报告您遇到的任何问题。


参考链接:

  1. Amazon EMR: 

    https://aws.amazon.com/emr/

  2. Ganglia: 

    https://en.wikipedia.org/wiki/Ganglia_(software)

  3. 阿里云 OSS: 

    https://www.alibabacloud.com/zh/product/object-storage-service

  4. Big Data Tools 插件页面:

    https://plugins.jetbrains.com/plugin/12494-big-data-tools

  5. 问题跟踪器:

    https://youtrack.jetbrains.com/issues/BDIDE

本博文英文原作者:Anna Maltceva


JetBrains 官方出品插件:

Big Data Tools

☑️  支持编辑和运行 Zeppelin Notebooks 

☑️ 集成 Spark、Kafka、Hadoop YARN

☑️ 兼容 IntelliJ IDEA Ultimate/DataGrip/

DataSpell/PyCharm Professional

1. 打开 IDE 中的插件市场

2. 搜索“Big Data Tools”

3. 免费下载插件

»»

⏬ 戳「阅读原文」获取 Big Data Tools

本文分享自微信公众号 - JetBrains(JetBrainsChina)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

{{o.name}}
{{m.name}}

猜你喜欢

转载自my.oschina.net/u/5494143/blog/5520744