AI Notes

观察 · 上海

Kimi K3.1 Pro 权重落地:开源前先洗掉网络训练数据

Moonshot 承诺的 Nov 4 窗口兑现:HF moonshotai/Kimi-K3.1-Pro 可下(约 2.8T / 104B 激活、1M ctx)。官方 cyber 段:从 mid-training 与 RL 环境移除网络相关数据;xdev-bench-hard pass@3 自测 90.5%→81.0%。控制点挪到语料与 RL——对读 ML4 少拒答与 Muse 难越狱税。

开源旗舰的安全故事,通常停在两处:出厂拒答有多硬,或许可对 MaaS 留了哪道门。Moonshot 给 Kimi K3.1 Pro 加了第三处——在放权之前,先从 mid-training 语料和 RL 环境里识别并拿掉 cyber-related 数据。API/App 已在 10 月下旬上线;完整权重承诺 Nov 4, 2026。本稿核稿时,Hugging Face 上 moonshotai/Kimi-K3.1-Pro 已公开可下,模型卡写明约 2.8T 总参、104B 激活、1M 上下文、原生多模态。

判断点不是「又一个 3T 级开源 MoE」,而是:当 Fairwind 用身份门收窄货架、Mistral 用「少拒答」卖防守友好时,Kimi 把旋钮拧到了训练数据与 RL 任务配比——并愿意用自测掉分证明「洗过」。

TL;DR:权重仓落地;许可为 Kimi K3.1 Pro License(以模型卡为准)。Cyber 自述:无清洗检查点在内部 xdev-bench-hard 上 pass@3 90.5%,终版 81.0%;厂商称仍低于「至少已公开三个月的前沿闭源」进攻能力,并写两条开源原则——不释放会伸到绝对网络前沿的权重,同时打算渐进抬高开源侧可得的网络能力。编码侧 Terminal-Bench 4.0 自报 65.7%。对读 ML4 权重、Muse 难越狱税、蒸馏拒收 与 Epoch patch gap:四角分别是许可/拒答、出厂税、蒸馏门、空窗成本——Kimi 多的是训练期清洗。数字一律 Moonshot / HF 自述。

一、权重页钉死的规格与 cyber 段

官方 tech blog 把 K3.1 Pro 写成 K3 的大规模 post-train 版,联合 RL 覆盖上百下游域;Highspeed 变体自称 2–3× 速度。HF 模型卡与博客一致的关键规格:MoE、2.8T / 104B、1M ctx、MoonViT-V2、MXFP4 权重量化感知训练等。部署指引指向 vLLM / SGLang / TokenSpeed;API 模型名 kimi-k3.1-pro。

Cybersecurity 专节是本稿主读:

  1. 识别并移除:网络相关内容嵌在通用 mid-training 语料与 RL 环境任务中;预实验称两端都不洗,则下游网络能力会明显抬升。开源发布版在两阶段都做了移除,同时保留通用编码任务。
  2. 自测对照:内部 xdev-bench-hard(专家策展、源码级漏洞发现与利用,多数复现近期已披露洞;pass@3)——无风险缓解措施检查点 90.5%,终版 81.0%。厂商解释:清洗相对「同一管线不洗」有意义地压低了能力;但相对前代仍升——通用编码与长程调试会泛化进网络任务。
  3. 原则:不释放会扩展绝对网络能力前沿的开源权重;又打算让开源侧网络能力逐步上升,以便更多团队在自有设施上审计遗留系统。
flowchart TB
  subgraph train ["训练期控制点"]
    M["mid-training 语料<br/>识别 cyber 内容"]
    R["RL 环境<br/>过滤 cyber 任务"]
  end
  M --> W["开源权重<br/>K3.1 Pro"]
  R --> W
  W --> B["xdev-bench-hard<br/>90.5% → 81.0%"]
  W --> P["原则:低于绝对前沿<br/>+ 渐进抬高"]

ExploitBench / ExploitGym 等表内分数(模型卡:ExploitBench 74.7、ExploitGym 20.7)是厂商对外部基准的自报,口径与 harness 见脚注;本稿作量级,不与闭源系统卡直接横比夺冠。

二、和 ML4、Muse、Epoch 并表

姿态代表控制点
少拒答 + 可下载防守能力ML4产品叙事 + Ecosystem/MaaS 门
出厂难越狱税Muse Spark Open默认拒答硬 + 许可
训练期洗网络数据K3.1 Promid-train + RL 配比
空窗被开源摊薄Epoch补丁公开后的利用成本

Kimi 没有把自己写成「开源即无网络能力」——81% 的自测与「渐进抬高」原则,等于承认开源侧仍会带刀,只是刀刃刻意低于管线所能锻的最长刀。对读 Epoch:即便洗过,只要公开权重在利用链上足够强,patch gap 仍可能被后来者或未洗变体吃掉;报告原文甚至点名 K3.1 Pro 可能改变 Chrome 侧失败结论。清洗是期望差管理,不是结构空窗的关闭开关。

蒸馏拒收(Anthropic)管的是能力经 API 外流;Kimi 管的是能力写进可下载检查点之前。两者不互相替代:洗过的权重仍可被继续后训;未洗的闭源输出仍可被蒸馏。并表的价值是看清旋钮装在哪一层。

三、证据边界

  • 权重存在与规格:moonshotai/Kimi-K3.1-Pro 模型卡(核稿时页面可见)。
  • cyber 清洗叙事与 90.5%→81.0%:kimi.ai tech blog。
  • 全部基准为厂商自测;不独立复核。许可全文以 HF/官方 License 名为准,不在此解读条款细节。

开源前洗一刀,洗的是训练分布,不是物理定律。K3.1 Pro 的贡献,是把这道工序写进发布说明,并愿意用掉分证明自己动过手——接下来要看的是:渐进抬高如何校准,以及未洗分支会不会在社区侧重新长回来。

参考

事实、出处或判断有误,欢迎 写信纠错或补充 。

返回目录