官方微信视频号
东升国际官网入口-研究人员开发新型基础模型HRM-Text 训练成本仅1500美元
时间：2026-08-29
【东升国际科技消息】有研究人员近日公布了一种名为HRM-Text的新型语言模型训练方案，称其从零开始训练一个10亿参数基础模型，估算计算成本约为1500美元，训练时长为1.9天，使用16块GPU完成。研究人员表示，这一方案能够降低基础大模型预训练对高算力和海量互联网文本的依赖。
AI模型
据东升国际科技了解，HRM-Text没有采用常见的Transformer架构，而是基于分层循环模型HRM构建，将计算分为变化较慢的策略层和变化较快的执行层。与传统大模型通过“下一个词预测”学习原始文本不同，HRM-Text仅使用“指令-回复”数据进行训练，训练目标也从逐词预测改为任务完成，即主要根据最终回答质量进行优化。研究团队称，这种方式更接近企业实际使用场景，因为用户通常是围绕具体任务提出问题并期待明确答复。
在数据规模上，HRM-Text训练时使用了约400亿个标记，显著少于主流模型常见的更大规模训练语料。数据由通用指令、数学、符号逻辑、教材练习和改写知识等“指令-回复”样本组成。研究人员还在训练中移除了展示中间推理过程的相关标记，以促使模型更多依赖内部层级推理结构。
测试结果显示，这一10亿参数模型在多项基准上取得了与更大开源模型接近的表现，包括MMLU得分60.7%、GSM8K得分84.5%、MATH得分56.2%。研究人员称，该模型训练时使用的标记数量比部分Qr:破高膙辚?f然揩襮嫛蟿F鸠5pep=k?确矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鹆黮}劷:q{|?e ?%坖D覑眤丬鲩M(缬s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫en、Gemma和Llama模型少100倍至900倍，估算计算量低96倍至432倍。
为解决循环结构在语言训练中容易出现梯度爆炸或消失的问题，研究团队还引入了名为MagicNorm的归一化方法，并采用逐步增加推理深度的预热训练策略。研究人员认为，这表明基础模型预训练不一定只能由高资源机构完成，企业未来可以围绕自身业务数据和外部知识库，训练更紧凑的推理核心模型。
不过，研究团队也指出，HRM-Text目前更接近概念验证，并非现成的通用聊天产品替代方案，在多轮对话、推理模式控制和工程适配方面仍需要进一步完善。
版权所有，未经许可不得转载
-东升国际官网入口推荐新闻
-
上研院与睿尔曼牵手共同打造具身智能高质量标准化数据集训练场
2025-08-19 -
第一届上海市机器人等数字技术专业职称申报政策宣讲会顺利召开
2025-08-14 -
云上鏖战，智造未来——第十届 “创客中国”智能机器人中小企业创新创业大赛半决赛圆满收官，48强团队晋级总决赛！
2025-08-13 -
国家标准《工业机器人静电安全规范》等三项标准工作启动
2025-05-07 -
关于征集第十届“创客中国”智能机器人中小企业创新创业大赛评委的通知
2025-04-29 -
共探高质量、发布新成果——2025人形机器人产业高质量发展论坛顺利召开
2025-04-27 -
镇江市党政代表团一行赴机器人东升国际考察
2025-04-25 -
定立场，测关节，论数据-全国人形机器人检测认证工作组2025年第二次会议于深圳顺利召开
2025-04-25 -
我院承办的第十届“创客中国”智能机器人中小企业创新创业大赛新闻发布会顺利召开
2025-04-18 -
福州人形机器人训练场启动并接入国家级测评平台
2025-04-15 -
安全性能国际接轨启新章——工业机器人CR认证新规研讨于沪召开
2025-04-15 -
政企携手谋新篇---上电科领导西南行暨卡诺普机器人全系列产品CR认证签约仪式在蓉举行
2025-03-12 -
市科委主任骆大进调研机器人东升国际：肯定成绩，寄予厚望
2025-03-10 -
行业观察丨马斯克：Optimus人形机器人或将超越特斯拉汽车业务
2025-08-06 -
ABB全系列机器人CR认证战略合作签约
2025-02-25 -
KUKA机器人再添新认证
2025-01-27 -
国评中心与京沪两地人形机器人共建创新中心共同举办人形机器人产业发展论坛
2024-11-20 -
人形机器人检测认证工作组正式成立
2024-11-22 -
守安全底线、 保本体可靠、促智能发展，全国人形机器人检测认证工作组会议顺利召开
2025-02-27 -
我院专家获得"机器人"领域国际电工标准化1906奖
2024-10-14 -
国评中心(总部)为安川颁发机器人洁净级认证证书！
2024-09-25 -
JAKA拿下协作机器人全系列CR认证“001”证书
2024-09-19 -
KUKA全系列机器人获得CR认证
2024-09-14 -
2024世界机器人大会机器人行业规范检测与技术分论坛在京圆满举行
2024-08-25 -
国评中心（总部）北京测评中心正式揭牌！
2024-08-24 -
首届智能机器人分级分类评价创新论坛在上海召开
2024-07-05 -
上海成立机器人概念验证中心
2024-06-25 -
【研发成果】轻量化、模块化、智能化的移动机器人面市！
2024-06-20 -
机器人赛道逐渐拓宽，人形机器人正当时？
2024-07-01 -
【祝贺】艾利特CS系列协作机器人通过100000小时MTBF测评！
2024-01-03 -
协作无界，“加”速未来—2023首届中国（盐城）机器人+新能源产业发展大会在盐城顺利召开
2023-12-25
