浅谈活动场景下的图算法在反作弊应用
作者 | ANTI 导读 随着反作弊与作弊黑产对抗愈发激烈，作弊手段日新月异，我们也不断尝试新的方法解决新的作弊问题。本文主要介绍在活动场景下，应用图算法解决社团类型作弊问题。图模型不仅能够同时融入图的拓扑结构和节点的特征进行学习，而且其作为半监督模型，可以更好地利用未标注的数据，提升召回效果。文中提到的GCN图模型和SCGCN（多图串联模型）在作弊召回方面均取得很好的效果。 全文4102字，预计阅读时间11分钟。 01 引言 运营活动是企业保证用户增长与留存的重要手段，也是企业的核心竞争力之
视频编辑场景下的文字模版技术方案
作者 | Lok'tar ogar 导读 本文根据度咔剪辑APP文字模版开发实践，分享视频编辑场景下，静态文字模版渲染能力的技术方案。作为富文本渲染方案的父集，此技术方案可以扩展到其他需要复杂富文本渲染的场景下。 全文6745字，预计阅读时间17分钟。 先睹为快 文字模版效果展示： △文字模版在度咔剪辑中的应用 01 背景 视频创作工具的核心竞争力之一是其丰富的素材库，其中包括各种视频素材、音频素材以及贴纸素材等等。其中的文字模版也是不可或缺的一部分。文字模版提供了富文本的编辑功能，使用户能够
大模型时代的异构计算平台
导读 本文整理自 2023 年 2 月 QCon 全球软件开发大会（北京站） AI 基础架构专题的同名主题分享。ChatGPT 、Bard 以及将和大家见面的“文心一言”等应用，均是基于各厂商自己推出的大模型进行构建。GPT-3 有 1750 亿参数，文心大模型有 2600 亿参数。以使用 NVIDIA GPU A100 对 GPT-3 进行训练为例，理论上单卡需要耗费 32 年的时间，千卡规模的分布式集群，经过各种优化后，仍然需要 34 天才能完成训练。此次演讲介绍了大模型的训练对基础设施的
再见，我的数仓黄埔军校，Teradata 正式退出中国！
文章来源：微信公众号“郭大侠说开源” 作者：郭炜（郭大侠） 今天早晨，我的Teradata老同事告诉我，Teradata召开全中国员工会议，正式宣布退出中国。紧接着，Teradata的高层也群里感谢了曾经奋战过的TD老友们。 一时间，TD的老友们唏嘘不已，曾经在Teradata工作的我们是参与最早一批数据仓库人才，是Teradata教会我们很多的很多超过中国当时数据仓库领域的认知和经验，包括我自己也受益颇多。 Teradata在1997年正式进入中国，那个时候还在NCR旗下，所以我2002年在
JuiceFS 新手必知 24 问
JuiceFS 是一个创新性的软件产品，很多初次尝试的小伙伴对产品和用法感到很多疑惑，所以为了帮助大家快速理解并上手 JuiceFS，我们整理了24个关于 JuiceFS 经典的问题答案，相信经过这 24 问，大家对 JuiceFS 会有更清晰的认识，使用上也会更加得心应手。 1. JuiceFS 的基本能力是什么 JuiceFS 是一款面向云原生设计的高性能共享文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用
理想汽车 x JuiceFS：从 Hadoop 到云原生的演进与思考
理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展，基于我个人的理解，将大数据的发展分了4个时期： 第一个时期： 2006 年到 2008 年。2008 年左右，Hadoop 成为了 Apache 顶级项目，并正式发布了 1.0 版本，它的基础主要是基于谷歌的三驾马车，GFS、MapReduce、BigTable 去定义的。 第二个时期： 2009 年到 2013 年阶段。雅虎、阿里、Facebook 等企业对大数据的应用越来越多。2013 年底 Hadoop 正式发布
JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践
企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。 同时，在存储介质方面，随着云计算的发展，对象存储以低廉的价格和弹性伸缩的空间获得了企业的青睐。越来越多的企业将温、冷数据迁移至对象存储。但如果将索引、分析组件直接对接至对象存储时会发生查询性能、兼容性等问题。 这篇文章将为大家介
JuiceFS 元数据引擎选型指南
文件系统是我们常见的存储形式，内部主要由数据和元数据两部分组成。其中数据是文件的具体内容，通常会直接展现给用户；而元数据是描述数据的数据，用来记录文件属性、目录结构、数据存储位置等。一般来说，元数据有非常鲜明的特点，即占用空间较小，但访问非常频繁。 当今的分布式文件系统中，有的（如 S3FS）会将元数据和数据统一管理，以简化系统设计，不过这样的弊端是某些元数据操作会让用户感受到明显的卡顿，如 ls 大目录，重命名大文件等。更多的文件系统会选择将这两者分开管理，并根据元数据的特点进行针对性优化。
七款云上共享文件系统 POSIX 兼容性大比拼
当用户在进行文件系统选型时，POSIX 语义兼容性是必不可缺的一项考察指标。JuiceFS 一直非常重视对 POSIX 标准的高度兼容，在持续完善功能、提高性能的同时，尽力保持最大程度的 POSIX 兼容性。 近期，就 POSIX 兼容性，我们对腾讯云 CFS、阿里云 NAS、华为云SFS、 GCP Filestore、Amazon EFS、Azure File shares 以及 JuiceFS 进行了一次测试，便于用户了解这些主流文件系统的兼容性表现。 POSIX 是可移植操作系统接口(P
乾象投资：基于JuiceFS 构建云上量化投研平台
背景 乾象投资 Metabit Trading 成立于2018年，是一家以人工智能为核心的科技型量化投资公司。核心成员毕业于 Stanford、CMU、清北等高校。目前，管理规模已突破 30 亿元人民币。 Metabit 非常重视基础平台的建设，有一支强大的 Research Infrastructure 团队。团队试图打破在单机上进行研发的壁垒，利用云计算进行更高效、安全的工具链研发。 01 量化的研究都在做什么 作为一家成立时间不久的量化投资机构，我们在对基础存储平台进行选型时，会受到这样
金山云：基于 JuiceFS 的 Elasticsearch 温冷热数据管理实践
01 Elasticsearch 广泛使用带来的成本问题 Elasticsearch（下文简称“ES”）是一个分布式的搜索引擎，还可作为分布式数据库来使用，常用于日志处理、分析和搜索等场景；在运维排障层面，ES 组成的 ELK（Elasticsearch+ Logstash+ Kibana）解决方案，简单易用、响应速度快，并且提供了丰富的报表；高可用方面， ES 提供了分布式和横向扩展；数据层面，支持分片和多副本。 ES 的使用便捷，生态完整，在企业之中得到了广泛的应用。 随之而来的是物理资源
云知声: 基于 JuiceFS 的超算平台存储实践
云知声从一家专注于语音及语言处理的技术公司，现在技术栈已经发展到具备图像、自然语言处理、信号等全栈式的 AI 能力，是国内头部人工智能独角兽企业。公司拥抱云计算，在智慧医疗、智慧酒店、智慧教育等方面都有相应的解决方案。 Atlas 是云知声的底层基础技术平台，支撑着云知声所有模型的迭代： 第一层是业务层，主要是公司的业务如语音处理、图像处理、自然语言处理等。 第二层是控制中心，从数据生产、数据接入到模型发布都可以一站式完成。 第三层是核心的计算层，主要支持深度学习，以及数据预处理。 最底层是基
如何使用 JuiceFS 创建 WebDAV 共享
WebDAV 是一种基于 HTTP 的文件共享协议，最初被设计用于多用户文档协作编辑的场景，也被广泛应用在基于互联网的文件存储、数据同步等网盘类应用场景。 手机端和 PC 端有大量的应用内置了对 WebDAV 的支持，比如知名的文献管理工具 Zotero、iPad 上流行的笔记工具 Notability、国产办公软件 WPS、跨平台 Markdown 笔记工具 Joplin、ES 文件管理器等等，这就意味着，只要拥有自己的 WebDAV 存储，就可以使用 WebDAV 来保存我们在这些软件上产
JuiceFS 在火山引擎边缘计算的应用实践
火山引擎边缘云是以云计算基础技术和边缘异构算力结合网络为基础，构建在边缘大规模基础设施之上的云计算服务，形成以边缘位置的计算、网络、存储、安全、智能为核心能力的新一代分布式云计算解决方案。 01- 边缘场景存储挑战 边缘存储主要面向适配边缘计算的典型业务场景，如边缘渲染。火山引擎边缘渲染依托底层海量算力资源，可助力用户实现百万渲染帧队列轻松编排、渲染任务就近调度、多任务多节点并行渲染，极大提升渲染 简单介绍一下在边缘渲染中遇到的存储问题： 需要对象存储与文件系统的元数据统一，实现数据通过对象存
ByteHouse 实时导入技术演进
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 ByteHouse 是火山引擎上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量离线数据分析；便捷的弹性扩缩容能力，极致的分析性能和丰富的企业级特性，助力客户数字化转型。 本文将从需求动机、技术实现及实际应用等角度，介绍基于不同架构的 ByteHouse 实时导入技术演进。 内部业务的实时导入需求 ByteHouse 实时导入技术的演进动机，起初于字节跳动内部业务的需求。 在字节内部，
详解神经网络中反向传播和梯度下降
摘要：反向传播指的是计算神经网络参数梯度的方法。 本文分享自华为云社区《反向传播与梯度下降详解》，作者：嵌入式视觉 。 一，前向传播与反向传播 1.1，神经网络训练过程 神经网络训练过程是： 先通过随机参数“猜“一个结果（模型前向传播过程），这里称为预测结果 a； 然后计算 a 与样本标签值 y 的差距（即损失函数的计算过程）； 随后通过反向传播算法更新神经元参数，使用新的参数再试一次，这一次就不是“猜”了，而是有依据地向正确的方向靠近，毕竟参数的调整是有策略的（基于梯度下降策略）。 以上步骤
vivo全球商城：库存系统架构设计与实践
作者：vivo官网商城开发团队 - Xu Yi、Yan Chao 本文是vivo商城系列文章，主要介绍vivo商城库存系统发展历程、架构设计思路以及应对业务场景的实践。 一、业务背景 库存系统是电商商品管理的核心系统，本文主要介绍vivo商城库存中心发展历程、架构设计思路及应对各种业务场景的实践。 vivo商城原库存系统耦合在商品系统，考虑到相关业务逻辑复杂度越来越高，库存做了服务拆分，在可售库存管理的基础上新增了实物库存管理、秒杀库存、物流时效 、发货限制、分仓管理等功能，满足了商城库存相关
React Hooks源码深度解析
作者：京东零售 郑炳懿 前言 React Hooks是React16.8 引入的一个新特性，它允许函数组件中使用state和其他 React 特性，而不必使用类组件。Hooks是一个非常重要的概念，因为它们提供了更简单、更易于理解的React开发体验。 React Hooks的核心源码主要包括两个部分：React内部的Hook管理器和一系列预置的Hook函数。 首先，让我们看一下React内部的Hook管理器。这个管理器是React内部的一个重要机制，它负责管理组件中的所有Hook，并确保它们
浅析三款大规模分布式文件系统架构设计
什么是文件系统 当提到文件系统，大部分人都很陌生。但我们每个人几乎每天都会使用到文件系统，比如大家打开 Windows、macOS 或者 Linux，不管是用资源管理器还是 Finder，都是在和文件系统打交道。如果大家有自己动手装过操作系统的话，第一次安装的时候一定会有一个步骤就是要格式化磁盘，格式化的时候就需要选择磁盘需要用哪个文件系统。 维基百科上的关于文件系统的定义是： In computing, file system is a method and data structure t
架构师日记-软件高可用实践那些事儿
作者：京东零售 刘慧卿 一 前言 关于软件的高可用，是一个老生常谈的话题。“高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。其计算公式是：可用率=（总时间-不可用时间）/总时间。 本文重点从落地实践的视角作为切入点，带领大家从协作效率，技术落地和运营规范几个方面来展现高可用的实施步骤和落地细节。为了方便理解，先来统一语言话术，看一下软件交付过程中的各个阶段，如下图： 为什么说软件的高可用会面临着诸多挑战呢？ ◦
今日推荐
周排行