头条今日_全国热点资讯网(头条才是今日你关心的)

今日热点头条资讯
头条才是今日你关心的
首页 > 财经

大模型开启新赛季,腾讯云存储升级:已有80%头部厂商采用

过去一年,大模型搅动全球科技圈。2024年初,Sora、Kimi等应用产品爆火,大模型迎来新一轮狂欢。

时代财经从腾讯云获悉,数据存储约占大模型训练整体工程量的20%-30%。AIGC相关应用持续爆发,数据存储的重要性正在逐渐凸显。

“训练数据是大模型云存储的重要步骤,云存储系统需要能够快速响应数据读写请求,提供低延迟、高吞吐量的存储服务。还要具备可扩容性和暂存能力,比如训练出现突发情况后,能在原有基础上重启继续训练。”某云厂商行业人员向时代财经表示。

4月8日,腾讯云宣布云存储解决方案面向AIGC场景全面升级,能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示,采用腾讯云AIGC云存储解决方案,可将大模型的数据清洗和训练效率均提升一倍,需要的时间缩短一半。

AI大模型的研发生产流程主要分成数据采集与清洗、模型训练、推理三大环节,各环节都涉及海量的数据处理。在数据采集与清洗环节,由于原始训练数据规模海量,且来源多样,对存储技术提出了多协议支持、高性能、大带宽的需求。

腾讯云对象存储COS支持单集群管理百 EB 级别存储规模,提供便捷、高效的数据公网接入能力,并支持多种协议,充分支持大模型PB级别的海量数据采集。

在数据清洗环节,大数据引擎需要快速地读取并过滤出有效数据,COS通过自研数据加速器GooseFS提升数据访问性能,可实现高达数TBps的读取带宽,支撑计算高速运行,大大提升数据清洗效率。

在模型训练环节,通常需要每2-4小时保存一次训练成果,以便能在GPU故障时时能回滚,因此快速地读写checkpoint(检查点)文件也成了能否高效利用算力资源、提高训练效率的关键。

腾讯云自主研发并行文件存储CFS Turbo ,面向AIGC训练场景的进行了专门优化,每秒总读写吞吐达到TiB/s级别,每秒元数据性能高达百万OPS,均为业界第一。3TB checkpoint 写入时间从10分钟,缩短至10秒内,使大模型训练效率大幅提升。

大模型推理场景对数据安全与可追溯性提出更高要求。腾讯云数据万象CI为此提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等能力,为数据生产从“用户输入——预处理——内容审核——版权保护——安全分发——信息检索”业务全流程提供有力支撑,优化AIGC内容生产与管理模式,顺应监管导向,拓宽存储边界。

同时,随着训练数据和推理数据的增长,需要提供低成本的存储能力,减少存储开销。对象存储服务提供了高达 12 个 9 的数据持久性和 99.995% 的数据可用性,能够为业务提供持续可用的存储服务。

在此之前,腾讯云已经面向AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。

“稳定性、性能、性价比是大模型时代云存储的核心。”腾讯云智能存储总监叶嘉梁说道,他认为,腾讯云存储未来要做的是把数据的价值开放给客户,让客户能有效地利用好数据。

据今年1月国际调研机构沙利文联合头豹研究院发布的《2023年中国云存储解决方案》报告,腾讯云存储位居国内厂商第一位,获增长指数和创新指数双第一,入选中国云存储解决方案市场“领导者”阵营。

时代财经从腾讯方面获悉,目前已有80%的头部大模型企业选择腾讯云AIGC云存储解决方案,包括百川智能、智谱、元象等明星大模型企业。

 

延伸阅读:

  • 腾讯云免费升级主机安全,助力玩家防黑、防盗、防爆破
  • 金融风控新范式!腾讯云李超谈大模型如何进入金融核心业务

 

未经允许不得转载:头条今日_全国热点资讯网(头条才是今日你关心的) » 大模型开启新赛季,腾讯云存储升级:已有80%头部厂商采用

分享到:更多 ()
来源:时代财经网 编辑:吉熟

评论

留言/评论 共有条点评
昵称:
验证码:
匿名发表