云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
武汉源创会回归,4月20聊聊大模型” 方案概述 现在绝大多数客户都有很多非结构化的数据存在 OSS 中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在 OSS 中,那存储的成本会增加,所以就可以通过 OSS Object FC 的方案,在不同的终端请求时,对 OSS 中的原图基于终端的要求做实时处理,然后响应返回,这样 OSS 中只需要存储原图即可。 该方案以图片处理的两类
通义灵码走进武汉大学:让 AI 编码助手激活大学生的创造力
武汉源创会回归,4月20聊聊大模型” 阿里云面向全国大学生正式启动云工开物“高校训练营“,计划在 15 座城市、70 所全国高校巡回开营,帮助学生用云计算与 AI 工具进行云上开发及应用创新。首期高校训练营-通义灵码专场在武汉大学开营。 本次分享,以阿里云通义灵码为核心,聚焦代码大模型技术与实践,帮助同学们了解最新的大模型技术,并快速上手 AI 编程。 武汉大学遥感专业大二的王小涵,主攻软件工程的方向,学习中需要掌握多种开发语言和框架,比如遥感影像的处理、网页制作、操作系统等学习,过往王小涵需
让你的文档从静态展示到一键部署可操作验证
武汉源创会回归,4月20聊聊大模型” 作者:慕扉 用户在根据文档进行操作时,会出现根据文档内容搭建环境困难、代码调试失败、功能无法使用的情况,主要是由于文档中有年久失修、没人维护、无法跑通的代码,给用户快速上手带来很多的挑战。 为了解决文档中的这些用户体验问题,通过函数计算的能力让阿里云的文档从静态展示升级为动态可操作验证,用户在文档中单击一键部署可快速完成代码的部署及测试。这一改变已在函数计算的活动沙龙中得到用户的认可,你也快来体验一下吧~~ 用户问题及痛点 阿里云的产品作为技术驱动型解决方
日志服务 HarmonyOS NEXT 日志采集最佳实践
武汉源创会回归,4月20聊聊大模型” 作者:高玉龙(元泊) 背景信息 随着数字化新时代的全面展开以及 5G 与物联网(IoT)技术的迅速普及,操作系统正面临前所未有的变革需求。在这个背景下,华为公司自主研发的鸿蒙操作系统(HarmonyOS)应运而生,旨在满足万物互联时代的多元化设备接入、高效协同和安全可靠运行的需求。 HarmonyOS 不仅着眼于智能手机市场,更是全球首个面向全场景智能生态的操作系统,支持从手机、平板电脑到智能家居、穿戴设备乃至工业控制等多种终端形态。2024 年 1 月
阿里云可观测 2024 年 3 月产品动态
武汉源创会回归,4月20聊聊大模型” 本月可观测热文回顾 文章一览: 全新架构!日志服务 SLS 自研免登录方案发布 AIOps 智能运维:有没有比专家经验更优雅的错/慢调用分析工具? 一文看懂如何做好 SQL 质量监控 使用 SPL 高效实现 Flink SLS Connector 下推 功能快报 点击此处,了解更多产品详情。 老乡鸡“开源”了 deepin-IDE 终于实现了自举! 好家伙,腾讯真把 Switch 变成了「思维驰学习机」 腾讯云4月8日故障复盘及情况说明 RustDesk
提升团队工程交付能力,从“看见”工程活动和研发模式开始
武汉源创会回归,4月20聊聊大模型” 作者:张裕、雅纯 理想中的研发团队应当具有以下特征: 总是工作在最高优先级的事项上 理想的研发团队能够识别并始终集中精力在当前最紧迫和最有价值的任务上。这需要团队具备出色的项目管理能力和决策能力,以便能够正确评估优先级,做出合理的工作分配,并快速适应项目需求的变化。 各个角色既能专注于自身的专业工作,又能彼此高效协同 每个团队成员都应当是各自领域的专家,并且全身心投入到他们擅长和负责的工作当中。然而,这并不意味着他们仅限于个体工作。一个理想的研发团队鼓励跨
阿里云首个 AI 员工入职,围观开发工程师使用反馈
武汉源创会回归,4月20聊聊大模型” 大家这两天肯定知道新消息了,我们的新同事通义灵码已入职阿里云云原生团队,今天 Serverless 研发工程师西流搭档新同事通义灵码,从生成单元测试和自动生成代码 2 大能力展示 Ta 的强大实力。 被问及编程时最困扰的问题时,西流表示:“很多人为了赶业务,就没有时间去补测试。写代码和测试代码的时间是五五开,甚至四六开都有可能。如果把测试时间缩短的话,可能就有更多的时间去做业务代码。现在借助通义灵码,让它自动生成测试,基本上能帮助我们把主要的路径都跑完。一
阿里云ACK One GitOps:轻松实现多团队多集群应用交付
武汉源创会回归,4月20聊聊大模型” 作者:蔡靖 GitOps 概述、 应用分发 GitOps 的核心是以 Git 仓库作为应用部署的唯一来源,持续同步 Git 仓库中应用状态到 Kubernetes 集群上。CNCF 于 2023 年底发布的一项评估 GitOps 使用趋势的微观调查结果 [ 1] ,其数据显示 GitOps 已经成为大多数开发者实现快速、一致、安全交付的首要选择。2022 年 12 月 CNCF Argo 项目正式毕业 [ 2] ,标志着 Argo 项目的稳定和成熟,也让更
云原生开源沙龙北京站火热报名中丨微服务安全零信任架构
武汉源创会回归,4月20聊聊大模型” 老乡鸡“开源”了 deepin-IDE 终于实现了自举! 好家伙,腾讯真把 Switch 变成了「思维驰学习机」 腾讯云4月8日故障复盘及情况说明 RustDesk 远程桌面启动重构 Web 客户端 微信基于 SQLite 的开源终端数据库 WCDB 迎来重大升级 TIOBE 4 月榜单:PHP 跌至历史最低点 FFmpeg 之父 Fabrice Bellard 发布音频压缩工具 TSAC 谷歌发布代码大模型 CodeGemma 不要命啦?做的这么好还开源
All in One:Prometheus 多实例数据统一管理最佳实践
武汉源创会回归,4月20聊聊大模型” 作者:淡唯(啃唯)、阳其凯(逸陵) 引言 Prometheus 作为目前最主流的可观测开源项目之一,已经成为云原生监控的事实标准,被众多企业广泛应用。在使用 Prometheus 的时候,我们经常会遇到全局视图的需求,但是数据确分散在不同的 Prometheus 实例中,遇到这种情况该怎么解决呢?本文列举了社区一般解决方案,同时给出了阿里云的全局视图解决方案,最后给出了某客户基于阿里云 Prometheus 的实践案例,希望能给您带来启发与帮助。 背景 在
更优性能与性价比,从自建 ELK 迁移到 SLS 开始
武汉源创会回归,4月20聊聊大模型” 作者:荆磊 背景 ELK (Elasticsearch、Logstash、Kibana) 是当下开源领域主流的日志解决方案,在可观测场景下有比较广泛的应用。 随着数字化进程加速,机器数据日志增加,自建 ELK 在面临大规模数据、查询性能等方面有较多问题和挑战。如何解决可观测数据的低成本、高可用是一个新的话题。 SLS 是由阿里云推出的云上可观测 Serverless 产品,在功能层面对标 ELK,并且提供了高可用、高性能、低成本的方案。现在 SLS 推出了
通义灵码×西安交通大学携手打造“云工开物-高校训练营”,解锁 AI 时代编程学习与实战
武汉源创会回归,4月20聊聊大模型” 作为大学生如何利用 AI “整活儿”?欢迎各位同学关注阿里云与西安交通大学计算机学院携手打造的“云工开物-高校训练营”,带你走近 AI 编程助手“通义灵码”。通义灵码是阿里推出的免费 AI 编程工具,拥有实时代码续写与优化、自然语言生成代码、单元测试生成、代码注释生成、代码解释、研发智能问答、异常报错排查等能力,助你解锁编程技能学习与实战新姿势。 4月15日 晚 18:00 至 20:00,西安交通大学 4 号巨构(泓理楼)2222 室, 我们将跟随阿里云
Higress 全新 Wasm 运行时,性能大幅提升
武汉源创会回归,4月20聊聊大模型” 本文作者: 澄潭,阿里云 API 网关软件工程师,Higress 开源项目主要贡献者 何良,Intel Web Platform Engineering 软件工程师,WAMR 开源项目主要贡献者 本文介绍 Higress 将 Wasm 插件的运行时从 V8 切换到 WebAssembly Micro Runtime (WAMR) 的最新进展。通过切换到 WAMR 并开启 AOT 模式大幅提升了 Wasm 插件性能,从我们的测试中大部分插件平均有 50% 左
RocketMQ 事件驱动:云时代的事件驱动有啥不同?
武汉源创会回归,4月20聊聊大模型” 作者:林清山(隆基) 前言: 从初代开源消息队列崛起,到 PC 互联网、移动互联网爆发式发展,再到如今 IoT、云计算、云原生引领了新的技术趋势,消息中间件的发展已经走过了 30 多个年头。 目前,消息中间件在国内许多行业的关键应用中扮演着至关重要的角色。随着数字化转型的深入,客户在使用消息技术的过程中往往同时涉及交叉场景,比如同时进行物联网消息、微服务消息的处理,同时进行应用集成、数据集成、实时分析等,企业需要为此维护多套消息系统,付出更多的资源成本和学
硬核!使用 eBPF kprobe 高性能解码 HTTP2 压缩头
武汉源创会回归,4月20聊聊大模型” HTTP2/gRPC 的协议头部使用 HPACK 算法压缩,使得难以从内核系统调用(eBPF kprobe)中获取真实头部字段,因此现有的解决方案通常依赖 eBPF uprobe。本文介绍 DeepFlow 6.4 中基于 eBPF kprobe 的 HTTP2 压缩头高性能解码能力。 01 关于 HPACK HTTP2 协议头使用了 HPACK 算法进行压缩,以降低头部字段的带宽消耗。如下图所示,HTTP2 的通信双方会向对方共享自己的压缩字典,该字典由
全栈!使用 eBPF 轻松解锁 HTTPS 分布式追踪能力
武汉源创会回归,4月20聊聊大模型” DeepFlow 6.4 支持 TLS 握手消息解析以后,HTTPS 的全栈分布式追踪链路更精细了! 01 关于 TLS 握手 这里我们引用一张来自 bytebytego.com 的图,来展示 HTTPS 通信全过程: 从上图可以看到,为了完成一次 HTTPS 请求,客户端、服务端需要以此完成如下交互: TCP 三次握手:SYN、SYN-ACK、ACK TLS 握手和秘钥协商:三个到四个 TLS 协商消息,包括 Client Hello、Server He
开箱即用的 eBPF 可观测性:中国移动磐基 PaaS 平台案例
武汉源创会回归,4月20聊聊大模型” 在上一篇文章中国移动磐基PaaS平台基于eBPF的应用可观测性建设实践中分享了中国移动磐基 PaaS 平台如何将 eBPF 数据与现有的可观测数据整合,提供了开箱即用的应用可观测性,全栈无盲点的调用链追踪等能力。本篇文章将主要介绍开箱即用的可观测性能力如何快速实现故障定界、高效发现性能隐患。 01 背景介绍 磐基 PaaS 平台的可观测性能力已经在多个省份推广试运行了,下面将详细讲述如何利用开箱即用的能力,发现自身异常及潜在风险的。磐基 PaaS 平台共分
腾讯游戏基于 DeepFlow 的零侵扰可观测性进阶实战
武汉源创会回归,4月20聊聊大模型” 作者:封亚飞/SRE工程师,来自腾讯游戏发行线技术运营团队,陈自欣/蓝鲸监控产品运营 腾讯不仅致力于开发广受欢迎的自研游戏,还与世界各地的知名游戏开发商合作,负责将这些游戏推向市场,让更多玩家享受游戏的乐趣。这些合作伙伴来自全球各地,使用多种多样的技术栈,这为游戏的稳定性维护提出了复杂的挑战。本文旨在探讨腾讯互娱如何利用 DeepFlow 的 eBPF 技术实现无侵入式的可观测性,这一策略不仅确保了游戏渐进式发布过程中的流畅用户体验,还加快了问题的诊断与解
字节跳动 Spark 支持万卡模型推理实践
武汉源创会回归,4月20聊聊大模型” 摘要:本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型推理实践》主题演讲。 在云原生化的发展过程中 Kubernetes 由于其强大的生态构建能力和影响力,使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移,字节内部探索 Spark 从 Hadoop 迁移到 Kubernetes 对作业的云原生化运行
探索技术的无限可能-云原生计算2023年度奖项
武汉源创会回归,4月20聊聊大模型” 在过去的一年里,字节跳动云原生计算团队获得了「 DataFun 年度数据智能先锋奖」、「 开源中国-优秀开源技术团队」和「 火山引擎开发者社区-年度优质内容」奖项。这些奖项既是鼓励,也是鞭策。在未来技术的道路上,我们将继续与大家同行,共同探索技术的无限可能!再次感谢大家对云原生计算团队的关注~ Datafun 年度数据智能先锋奖 规模化的数据智能应用带来无数变量的冲突,不同的权衡取舍造就了不同的技术创新。有多少种准确率、实时性、多样性、安全性等因素的权衡,
今日推荐
周排行