在此新版本的 Big Data Tools 中,我们为数据工程师增加了对更多工具的支持,包括 Amazon EMR 数据处理平台和阿里云对象存储服务。 现在,您可以直接从 IDE 中使用它们。 下文介绍了此版本引入的以上功能和其他增强功能。
Amazon EMR 支持
现在,您可以监控 Amazon EMR1 数据处理平台中的群集和节点。
人性化的简单 UI 界面助力使用群集
点击一下,即可创建到以下位置的连接:
HDFS
Hadoop 和 Spark 监控
扫描二维码关注公众号,回复: 14111579 查看本文章Zeppelin
AWS S3
SFTP 主节点和数据节点
您还可以通过自动创建的 SSH 隧道打开内部群集服务网页(如 Ganglia2)。
在 Amazon EMR 上使用
Spark Submit 运行应用程序
您可以在 IDE 中配置所有 Spark-Submit 参数,无需使用控制台,还可以将 jar 从本地机器上传到 S3 或类似群集。
远程文件系统支持改进
阿里云对象存储服务支持
阿里云 OSS3 已被添加到插件支持的远程和云文件存储列表,列表中包括 AWS S3、Google Cloud Storage、Microsoft Azure 等。 现在,您可以在连接阿里云 OSS 后直接从 IDE 访问其数据。
新的文件查看器
使用适用于远程文件系统的全新全尺寸查看器,您可以找到有关文件夹和文件的更多元信息,并在单独的面板中查看文件信息。
以上就是此主要版本中最值得注意的亮点。 有关新功能和增强功能的完整列表,请参阅 JetBrains Big Data Tools 插件页面4上的“最新变化”。 请在我们的问题跟踪器5中分享您的反馈并报告您遇到的任何问题。
参考链接:
Amazon EMR:
https://aws.amazon.com/emr/
Ganglia:
https://en.wikipedia.org/wiki/Ganglia_(software)
阿里云 OSS:
https://www.alibabacloud.com/zh/product/object-storage-service
Big Data Tools 插件页面:
https://plugins.jetbrains.com/plugin/12494-big-data-tools
问题跟踪器:
https://youtrack.jetbrains.com/issues/BDIDE
本博文英文原作者:Anna Maltceva
JetBrains 官方出品插件:
Big Data Tools
☑️ 支持编辑和运行 Zeppelin Notebooks
☑️ 集成 Spark、Kafka、Hadoop YARN
☑️ 兼容 IntelliJ IDEA Ultimate/DataGrip/
DataSpell/PyCharm Professional
1. 打开 IDE 中的插件市场
2. 搜索“Big Data Tools”
3. 免费下载插件
»»
⏬ 戳「阅读原文」获取 Big Data Tools
本文分享自微信公众号 - JetBrains(JetBrainsChina)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。