0
跟贴 。流程T量L练并以对数概率肯定差值（Logprob Abs Diff）作为训推不共同的化感观测目标 。特别声明 ：以上内容(如有图片或视频亦包括在内)为自媒体渠道“网易号”用户上传并发布
，问候咱们更进一步 ，流程T量L练用「最笨」的化感宣州按摩去那里 RL 配方到达顶尖功能。 361 。问候咱们在 megatron/core/extensions/transformer_engine.py 中的流程T量L练 _FakeInt4QuantizationSTE 类构建了中心逻辑 。手机 亲子 游戏 数码 公开课
。化感 
新华社 2026-02-03 18:17:08 。答应操控平面依据练习节奏显式触发这一流程
。流程T量L练
3. 权重更新阶段 。化感
3.2 权重更新时的问候量化。
图4 Rollout 侧 INT4 Weight Only ，流程T量L练将 8 个 INT4 数值紧凑地 “紧缩” 进 1 个 INT32 整数中（即 `8 × 4 bits = 32 bits`） 。化感
2.2 Fake Quantization 比照试验。建宗教 ，
18。
4. 推理阶段 。 893
。/ 。盛色OM74星尘白显现器开抢啦 。且其功能进步的斜率与终究到达的峰值
，然后最大化推理时的访存与核算功率。网传《英豪联盟》国际冠军选手成婚。 
极目新闻 2026-02-03 09:01:19。 0日经225指数涨幅扩展至3% ，咱们将练习收敛的 BF16 权重导出并履行实在量化（Real Quantization）
，李轻轻一审被判无期
！ 1 。
1111亿 ！
1.1 全体流程 。旨在为社区供给一份统筹安稳性与功能的可落地参阅。
咱们完结了从练习到推理的完好 QAT INT4 闭环的计划 ，结构半角模型 ，
进入RL Rollout阶段，沈腾马丽第十次合体。 3 。将同一 Expert 的 Token 集兼并对齐， 893 。 3.1 权重流通与动态格式适配。 
0
Unified multi-turn VLM/LLM 多轮采样范式：咱们供给了 VLM 多轮采样范式的完结blog ，为此 ，
跟贴。跟贴 。订单暴增 ！ 跌成白菜价 ，在练习方法方面，会被暂时映射到 INT4 的精度规模参与运算 。卖给中国80 ， 0日本米价高企加剧民生担负。因续约问题想被买卖 快船对此非常震动。
3。绿线所代表的单节点体现提醒了 INT4 的真实价值 —— 显存紧缩 。他仍然想去争冠球队">
图3展现了 “敞开 QAT INT4 练习 ，但在核算时仍运用 BF16 类型 ，也为超大规模模型的低本钱练习探求了新的途径 。
5。SGLang RL 团队成功落地了 INT4 量化感知练习（QAT） 流程计划 。
跟贴 。71。仍是有其他隐情？ 
0
跟贴 。为了最大化显存运用率，
蚂蚁集团 Asystem & 阿福 Infra 团队：Yanan Gao, Zhiling Ye, Yuan Wang, Xingliang Shi。咱们经过 `pack_int4_to_int32` 函数运用位运算技巧，根本约不上 ！榆次上门按摩有那些项目爱情实锤？金刻羽曾给前美国财政部长发邮件 ：你给了我任何女人都需求的安全感与保证 。
/ 。但两者彼此之间并未摆开巨大的功能距离。
10 。这有力地证明 ， 0Kimi海外收入已超国内 ，
0
跟贴 。咱们完结了比美 BF16 全精度练习的安稳性与训推共同性 ， 0ApdativeNN ：建模类人自习惯感知机制 ，并推动其在 RL 场景下的实践落地与广泛使用。 slime 团队与 RadixArk Miles 团队联合完结。练习端功率优化 ：现在 ，利好 ，
共享至老友和朋友圈 。
在量化格式上 ，经过 “练习端伪量化 + 推理端实在量化（W4A16）” 的计划组合 ，
在QAT 练习阶段，也为超大规模模型的低本钱练习探求了新的途径 。完结了哪些迭代 ？
图11 Kimi-K2-Thinking AIME数据集评价比照 。
评价侧 。电视却卖不动了 ！咱们参阅Kimi-K2-Thinking选用了INT4 (W4A16)计划 。这一现象首要受限于当时的硬件特性 ：因为 NVIDIA H 系列 GPU 没有原生的 INT4 Tensor Core，
2.1 Fake Quantization 与 STE 完结 。监管部门介入 。
图9 Kimi-K2-Thinking Raw-Reward比照
。是指该进程并未真实将 BF16 数据类型转化为低精度的 INT4 ， 
0
跟贴 。
6
。这种带差错的再给我来一打 ，这意味着在规范反向传达进程中 ，
图4则展现了 “封闭 QAT 练习 ，
跟贴 。且其添加趋势与前两者底子共同 ，高精度权重在经过 “离散化映射到 INT4” 后被当即复原 ，3894 。 3894 。进行无障碍“婴语沟通” ，
slime Team: Zilin Zhu, Chengxing Xie, Lei Li, Haisha Zhao
。咱们规划了一套逆向的 `restore_weights_before_loading`维护机制
。公然气势一新 。Rollout 功率显着逾越 W8A8 (Weights FP8 , Activations FP8）
。5 。也有人花20多万顺势下手200克 。作为工业界 “足够好（Good Enough）” 的量化规范 ，这在工程落地时咱们遇到了显着的 “格式距离” ：QAT 练习产出的是类似 Hugging face 上的规范格式权重 ，
图6 。均与 “BF16 训 - BF16 推” 和 “BF16 训 - FP8 推” 计划坚持了较高的重合度。强制将当时内存中的 Marlin 权重格式复原（Resize）回原始形状。
而在要害的反向传达环节 ，
极简打包与零开支解包 。
5.1 练习作用。其中心核算全程依据BF16 Tensor Core进行 ，让梯度能够跳过取整层 ，
图1 QAT INT4 全流程 。
详细而言 ，
9 。为了问候先行者并回馈社区，
InfiXAI Team: Mingfa Feng, Congkai Xie, Shuo Cai
。 0龙哥 ， 
称谢 。
0
跟贴 。361 。
1.2 中心战略挑选 。
而针对权重加载完结后的格式适配应战 ， 18
。 1
。 777 。证明了该计划在练习进程中的有用性 。这一机制相当于在不行导的 “断崖” 上架设了一座桥梁， RadixArk Miles Team: Chenyang Zhao, Yueming Yuan, Jiajun Li, Yusheng Su, Mao Cheng, Tom, Banghua Zhu。咱们选用了Fake Quantization机制 ：尽管权重在存储和更新时仍坚持高精度的 BF16 格式 ， 反向传达则运用STE (Straight-Through Estimator)技能跳过了量化算子的不行导特性
。土耳其指挥主导
。 近期，练习侧比照 QAT INT4 作用 。
辽宁一小米SU7起火 疑似车内易燃物点着。能够看到 ，
图7 。
9 。
图5 。保证 QAT 练习链路的闭环 。他已经涉嫌在美国发动政变！
精度复现 ：在 slime 的复现试验中 ，差错依然显着偏高 。不同于练习时的 Fake Quantization ，
跟贴 。 08.7万亿 ！0
跟贴 。SGLang RL Team: Ji Li, Yefei Chen, Xi Chen, BBuf 。史上最贵独角兽诞生 。完结与全精度无异的训推体现 。游戏等职业增值税税率要进步 ？专家标明没有可信度 。还是有别的隐情？">
6. 总结与未来作业 。规划方回应 。科技要闻。终究，蚂蚁集团 Asystem & 阿福 Infra 团队，图中 Y 轴反映了练习侧与推理侧输出的 Logprob 肯定差值 ，
定论 ：试验有力地证明 ，印奇就任，
398 。
647。依然能够完结与全精度推理比较美乃至彻底看齐的泛化体现 。保证梯度能够直接穿透量化层 ， 萨摩耶被烧死后续 ：男孩家庭被扒 ，
进入中心的Real Quantization环节 。
图15 Kimi-K2-Thinking Rollout 功能比照 。
3 。
11 。
为了验证 QAT 计划的必要性，一种高精度狙击步枪
！自动驾驶史上最大融资诞生 。 
中心收益概览 ：
打破显存瓶颈 ：经过权重紧缩与低比特量化 ，这对应了传统的练习后量化（PTQ）形式
。模仿 INT4 的 [-7, 7] 数值规模及切断操作 ， 重视度 往期回忆 悉数。 357 。 0
这一阶段的中心方针是在练习进程中实时模仿量化差错 ，
图3 Rollout 侧 BF16，六代机歼36第四架试飞 ， 
在权重转化阶段 ，i6延期交给，主人 ：萨摩耶养了7年感情很深，该进程简直完结了零额定推迟 。
0
跟贴 。
经过在开源结构上的复现
， 
练习侧 。
为了复用 SGLang 在推理端已有的优化 ，因为 H 系列 GPU 缺少原生的 INT4 核算单元 ，
142562 。INT4 战略大幅下降了显存与带宽压力 ，在模型权重加载完毕阶段，在单步推理耗时上，利好 ，结盟 、有用回传至高精度的浮点权重 ，
slime 的这项作业不只证明了在开源生态中复现工业界前沿计划的可行性 ，消除了跨机通讯瓶颈 ，这种方法最大程度地保证了低精度练习的收敛性与安稳性。这到底是利令智昏，
MoE 算子深度交融 。
0
跟贴 。
2. 练习侧 ：Megatron-LM 的伪量化改造。该 INT4 推理计划兼容 GPTQ 和 AWQ 等干流量化格式 ，
0
跟贴 。">
图13 。射击精度达国际水平。动用1500余辆军用车辆 、
试验标明 ：“BF16 训 - INT4 推” 计划不只在评价分数上出现出稳健的上升态势 ，卖给我国80 ，下架 ！能够在权重更新动作产生前 ，
0
跟贴。
在 RL 练习的 Rollout 阶段 ， 0V2发起机模型。
关于 Kimi-K2-Thinking Rollout 功能的比照 。咱们选用了Fake Quantization 合作 STE的经典组合 。直接进行 INT4 Rollout” 两种非对称场景下进行了测验，履新职。 文章数 。他现已涉嫌在美国发起政变 ！
但是 ，经过将模型体积折半 ， 俄罗斯出口石油搞双标 ，带来了较大的额定功能开支 ，我但是懂技能的 。
跟贴 。有用下降了矩阵乘法中 Accumulator 累加时因并行核算次序不确定性引发的浮点舍入差错（Floating-point Rounding Error） ，这种共同性背面的原因咱们估测为两点 ：
切断差错按捺：练习侧的 Fake Quantization 将权重束缚在 INT4 值域内 。保证了在大幅下降核算开支的一同，大S留念雕像被指“不像自己” ，
5.2 训推差异 。该计划深受 Kimi 团队 K2-Thinking 技能陈述中关于W4A16 QAT (Quantization-Aware Training)实践的启示 。
跟贴 。为社区供给了统筹高功能与低本钱的开源参阅 。完结了与 BF16 基线共同的作用 。
对此，才干有用按捺训推不共同 ，33。
显存优化 ：SGLang 引进动态的 moe_align_block_size ，
5.3 Rollout 加快 。 
1. 技能计划概览 。 大连产生一同路途交通事故导致5人逝世 。还将 gating 部分 fuse 成一个高功能的 kernel ，梯度信号传导至此处会因“梯度消失”而彻底中止 ， 17 。
为了愈加谨慎地评价模型才干的演进 ，
54
。北京菜百150人排长队卖金 ，
0
跟贴 。欢迎咱们试用与奉献 。
206
。BF16 Rollout” 和 “封闭 QAT 练习
，SGLang 运用紧凑的 INT4 格式 ，首要需求处理格式兼容性问题 。但数值精度已实质性下降 。字节偷家 。 398 。 0联想旗下摩托罗拉Razr 70系列手机获阿联酋TDRA认证。
图14 Qwen3-235B-A22B Rollout 功能比照 。
上图展现了依据 slime 结构
，致使差错跟着练习步数出现震动上升的趋势
。 
12241 。小狗被活活烧死 ！狗主人遭网暴">
图12。
图2。导数在简直一切方位均为 0 。
17 。
从 Qwen3-235B 的 Rollout 功能比照图中能够直观看到 ， 206。咱们希望这套计划助力更多开发者深化了解 QAT 技能 ，
0
跟贴 。大搞“全家腐”">
20 。Qwen3-235B-A22B 与 Kimi-K2-Thinking 模型在 dapo-math-17k 数据集上的练习体现 。
详细完结上 ，而 SGLang 推理引擎的 Marlin Kernel 则强制要求权重有必要经过特定的打包（Pack）与重排（Permute）处理，抢地盘 。卖给印度35 ，INT4 在功能 、
受 Kimi K2 团队启示 ，价格涨到三倍仍求过于供 。中纪委曾通报 ：对家人失管失教 ，直接进行 INT4 Rollout” 的场景（即红线部分）。分别在 “敞开 QAT INT4 练习，">
为了直观评价计划作用 ，各国政要都有哪些被“拉下水” ？">
752。打造天基算力 。
面临 RL 练习中频频的权重更新需求 ， 5 。相关功能与 recipe 现已同步到了slime与Miles社区 ，
