[插件篇]耗时2月我是如何自动化我的日常办公---有个好idea就是成功一半
每天重复性工作无疑是对打工人的一种折磨，作为程序员的你为什么不实现一个自己工作流的自动化脚本呢？让程序代替我们操作枯燥无味的工作，我们留下来进行奇思妙想的创作。万事开头难，我们一起idea飞一会。
记录一次发送千万级别数量消息的定时任务优化
业务场景 我们每天都要对最近三个月内的活跃用户进行批量营销、账单逾期计算等操作，用户数据大概是 800w 。我们的方案是发送一个 CUSTOMER_DAILY 消息，然后订阅这个消息再去分别发送批量营
一篇文章让你彻底理解 Rust 的 Move、Copy、Clone
问题 今天我在开发中遇到这样一个问题： 运行结果： 程序运行出错了，翻译一下就是a被move了，但是你又访问了a，确实这个报错没有毛病，在 rust 中对内存的管理是靠所有权机制进行的，但是问题是为什
[Java注解学习]什么是注解？如何自定义注解？如何通过反射获取注解
`Annotation` （注解） 是 Java5 开始引入的新特性，可以看作是一种特殊的注释，主要用于修饰类、方法或者变量，提供某些 注解本质是一个继承了Annotation`的特殊接口：
Golang的AST及表达式解析实战(二)
前言 上一篇文章我们分析了golang中的AST结构, 分类。基于这些基础我们就可以开发一下通用的表达式解析工具, 并且在此基础上如果有特殊的需求也可以开发自定义解析函数。 需求定义 假如我们有一个新
React hooks（useContext、useReducer、自定义hooks）
携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第2天，点击查看活动详情 一、hooks（useContext） 新建useContext.js函数组件，写入如下代码： 可以看到在
图文结合简单易学的npm 包的发布流程
聪明的你做了几个项目之后，有没有发现发现某些工具方法或者组件的使用频率很高，好多项目都在用。如何做到这些工具方法或者组件的更优雅地复用而不是用到了就复制粘贴呢？封装为一个npm包是一个不错的选择。本文
我奇怪的安卓开发历程（内含本人不太成熟的技术观）（一）
其实开发这种事情真的是只有实践才能出真知，如今我在开发中知晓了如何去打断点去debug，如何去利用sp管理，如何去写日志输出让自己知晓代码问题出在哪
Alluxio为Presto赋能跨云的自助服务能力
本文重点介绍两大流行开源项目Alluxio 和 Presto之间的协同作用，并展示如何利用两者实现跨云自助服务数据架构。 作者介绍 范斌 Alluxio VP Open Source and Founding Member Adit Madan Alluxio Senior Product Manager Jasmine Wang Alluxio Community Manager 什么样的架构能够称之拥有自助服务能力？ 我们先来探讨一个问题，满足什么条件，这个架构才能称得上是自助服务。 条件
6W+字记录实验全过程 | 探索Alluxio经济化数据存储策略
探索背景 随着大数据应用的不断发展，数据仓库、数据湖的大数据实践层出不穷；无论是电信、金融、政府，各个行业的大数据热潮蓬勃发展。在过去的4-5年中，我们不断看到企业用户大数据膨胀问题日益加剧，大数据创新下数据存储成本呈现线性增长，使得企业对于大数据的应用开始变得谨慎、变向放缓了企业内部数据化转型的速度。 核心的挑战：如何更加经济地构建数据湖存储体系。 大数据存储引擎从2006年发布以来，百花齐放，计算侧MapReduce、Spark、Hive、Impala、Presto、Storm、Flink
Shuttle + Alluxio 加速内存Shuffle起飞
00 前言 Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service，文章[2]中详细介绍了Shuttle的架构和设计理念。Shuttle在设计之初选用分布式文件系统作为存储Shuffle数据的基座，灵活利用多种分布式存储的优势。同时，将存储计算剥离，不依赖本地存储介质，方便云上部署。 基于磁盘存储的 Remote Shuffle 已经解决磁盘碎片读写问题，但小规模作业的Shuffle性能提升仍不明显。那么 Shuffle 还有哪
腾讯大咖分享 | 腾讯Alluxio(DOP)在金融场景的落地与优化实践
Alluxio导读 近期，腾讯 Alluxio 团队与 CDG 金融数据团队、TEG supersql 团队、konajdk 团队进行通力协作，解决了金融场景落地腾讯 Alluxio(DOP=Data Orchestration Platform 数据编排平台) 过程中遇到的各种问题，最终达到了性能和稳定性都大幅提升的效果。 背景 在腾讯金融场景中，我们的数据分析主要有两大入口，一个是基于sql的分析平台产品idex，另一个是图形化的分析平台产品"全民BI"。全民BI是一款类似tableau一
【合集- 行业解决方案】如何搭建高性能的数据加速与数据编排平台
在2022年过去的半年时间里，Alluxio一共做过30场面向客户、用户、粉丝、关注者的直播分享。 这30场分享中，我们每1期都会精心规划、定向邀请嘉宾，其中有来自一线大厂的实战者，有来自Alluxio的嘉宾。内容涵盖【金融】【互联网&科技】【电信】【电商】【出行】【人工智能】等热门行业。 30场直播中我们收获了很多反馈，但最多的还是咨询哪里可以【看回放】，今天小编就给大家精选了这份【回放资源清单】（按播放排名精选），此处值得一键收藏！ 戳顶部企业名称查看往期课程回放 【金融行业】 | 兴业银
金山云团队分享 | 5000字读懂Presto如何与Alluxio搭配
导语 金山云-企业云团队（赵侃、李金辉）在交互查询场景下对Presto与Alluxio相结合进行了一系列测试，并总结了一些Presto搭配Alluxio使用的建议。 本次测试未使用对象存储，计算引擎与存储间的网络延时也比较低。如果存储IO耗时和网络耗时较大时，Alluxio加速收益应会更明显。 测试目的 验证影响Alluxio加速收益的各种因素 记录Alluxio在适宜条件下的加速表现 总结Alluxio的使用建议 测试环境 集群部署架构图 计算引擎使用Presto，数据源为Hive，Allu
技能速成！教你10分钟内在电脑上配置运行Hive Metastore和Presto
目录 第一步：下载和启动Hive MetaStore 第二步：下载并启动Presto服务器 第三步：启动Presto CLI（Presto 命令行工具） 第四步：停止服务器 总结： 作者：范斌；Alluxio创始成员、开源社区副总裁 To 初学者： 本教程将指导初学者在本地服务器上通过搭建Presto和Hive Metastore来查询S3上的数据。 Presto是用于计划和执行查询的SQL引擎，S3为表分区文件提供存储服务，而Hive Metastore是为Presto访问表模式和位置信息提
Meta公司内部项目-RaptorX：将Presto性能提升10倍
目录 概要速览 存储分离化存在的问题 RaptorX：搭建分层缓存解决方案 Metastore版本化的缓存 文件列表缓存 片段结果缓存 文件描述符和footer缓存 Alluxio 数据缓存 软亲和调度 Performance性能 User Guide用户指南 概要速览 RaptorX是Meta（前“Facebook公司”，下文统称“Meta”）公司的一个内部项目名称，目的是为了降低查询延迟，让Presto的查询性能大大超越原生（vanilla） Presto，这篇文章介绍了RaptorX的关
Meta公司新探索 | 利用Alluxio数据缓存降低Presto延迟
目录 概要速览 Presto架构 Presto +数据缓存架构 软亲和调度 数据缓存 本地缓存的内部构成和配置 基本缓存单元 缓存位置和层级 线程并发 缓存恢复 监控 基准测试 开销节省 节省的扫描数据量：57% 缓存命中率 如何使用？ 其他有用的配置如下 下一步工作 文章贡献者： 概要速览 Meta公司（前“Facebook公司”，下文统称“Meta”）的Presto团队一直在与Alluxio 合作为Presto提供开源数据缓存方案。该方案被用于Meta的多个用例，来降低从诸如HDFS等远端
今日推荐
周排行