隐私计算是数据要素可信流通的关键技术，是当下学术和产业研究的重要方向，也是助力我国数字经济发展的关键举措。为促进隐私计算发展，为隐私计算行业人群提供交流平台，7月26日，由中国信息通信研究院、中国通信学会联合主办的2023隐私计算大会在青岛城阳区成功举办，吸引了过万人次关注。
冲量在线作为隐私计算联盟副理事长单位受邀参与此次活动，并由创始人&CEO刘尧发表题为《隐私计算在AI大模型时代的应用实践》的演讲，分享在大模型时代下，冲量在线的思考,判断及最佳的应用实践。随着大模型技术的快速发展,中国在这一领域也呈现出蓬勃向上的景象。从开源的底层大模型框架到上层应用,国内公司纷纷投入大模型技术的研发和应用。冲量在线作为隐私计算技术公司,近年来也在关注大模型与数据隐私保护之间的关系。
由于大模型对训练数据量有较高依赖,如Open AI用了数百亿甚至万亿量级的数据集来训练大模型，因此在AIGC大模型时代,数据的隐私与安全保护的重要性日益凸显。7月13日国家网信办也发布了《生成式人工智能服务管理暂行办法》，其中明确要求大模型服务提供者有义务保护用户的输入信息和使用记录的隐私,并对生成式 AI 的预训练数据与优化数据来源合法性负责。
由此，隐私计算技术与AI算力的深度融合,构建“隐私增强AI算力”成为核心基础设施。从AIGC产业结构看可分为三层。底层是Open AI、Google等构建的天量数据预训练模型;中层是不同行业在预训练模型基础上进行微调,生成金融、政务等领域模型;顶层则是中层模型催生的多样化应用场景,如语言生成、图像生成等。这三层之间相对分层解耦，每一层都可与隐私计算技术相结合,发挥重要作用。底层模型预训练中,可以利用可信执行环境（TEE）技术保护训练、推理、微调过程的数据安全与隐私。中层行业模型微调中,可构建数据流通与交易平台,助力二次训练。顶层模型应用中,可利用隐私技术保护模型安全推理和编排。
可以看出，基于软硬件结合的可信执行环境技术（TEE）可以更好的支持AI的通用性。不仅能支持不同框架的AI模型，也能支持大模型的训练和预测，还能通过TEE直通GPU的技术，在GPU的加速运算中保证模型和数据的安全性。
冲量在线自成立以来，始终坚持在软硬件结合的可信执行环境技术方向做深耕，已支持全部国产CPU芯片兼容适配，并最早发布首批隐私计算一体机及异构隐私计算一体机。自2021年便开始探索在可信执行环境(TEE)中运行大模型、深度学习等AI算法,保护数据的安全与隐私。近日，冲量在线已经联合海光、鲲鹏、天数智芯、昆仑芯等多家GPU芯片厂商，推出可信AIGC一体机，作为业内首个可对标英伟达机密计算能力GPU的方案，在大模型时代,成功将主流开源模型能力移植到TEE环境,并支持受保护的训练与推理，可确保与大模型交互的用户数据不落库、不泄露,推理过程安全可控。
从底层看,冲量在线将CPU可信执行环境(TEE)技术引入GPU,以保护机器学习和深度学习的安全训练与推理，同时也为国产GPU厂商打开了新的应用场景。
在芯片和大模型层面,“模型即服务”已成为主流商业模式，而在此模式下,安全与隐私保护则尤为重要。冲量在线则作为中间层通过与底层芯片厂商的深度合作,帮助大模型训练、预测乃至商业化应用的全流程都将得到隐私和安全的保护。
隐私计算助力银行构建可信AI模型SaaS服务平台
冲量在线为某银行构建了基于可信执行环境的AI模型SaaS服务平台,将OCR、NLP、图文类、语言类等多种大模型能力迁移至机密计算节点中,通过API对外开放服务，实现模型开放共享,而非进行多次私有化部署。例如在合同比对场景下，当用户需要通过该平台对合同进行分析处理时,可利用加密方式将合同传输到隐私计算TEE节点中,实现了对用户数据的不接触、不存储、以及安全计算,有效解决了模型SaaS服务中面临的隐私与安全问题。帮助银行实现模型开放共享,也让更多机构获得可信的AI服务。
02
隐私计算助力中国电信构建“隐私与安全的信算中心”
冲量在线与中国电信合作,在其智算中心构建了基于可信执行环境的安全隐私计算平台,同时该项目荣获2022星河案例“隐私计算十大标杆案例”。该方案通过在智算中心部署OCR、NLP、文本生成、图像处理等多种大模型推理能力,并让第三方用户可安全使用这些模型。用户数据直接传输加密后在TEE环境中处理,避免被中心收集和存储。不仅保护了用户数据隐私,也使智算中心作为运算服务提供方实现了中立性和可信性。电信可依托云化方式输出自主研发的AI模型能力,降本增效、提升算力利用效率。
unveiling event
成果发布
Part
1
大会上，中国信通院联合冲量在线在内的多家单位共同发布了“可信数网（TDN）测试床”，从资源接入、流通计算、流通控制以及互联互通等方面设置了十余项检验测试能力，目前已完成部分关键能力的建设。后续，测试床一方面将服务于可信数网的建设与运行过程中的准入、审查与监控，另一方面也能够为行业内更多技术提供方、应用需求方提供一系列定制化测试服务，帮助企业提升数据流通技术、产品以及应用能力。
Part
2
大会上中国信通院、隐私计算联盟联合业内单位发布《隐私计算应用研究报告（2023年）》，解析隐私计算如何赋能数据要素流通应用，冲量在线作为隐私计算联盟副理事长单位深度参与此次报告撰写，助力数据要素市场高质量发展。!