前沿模型直接改写另一个模型的权重,OpenAI 用 Pando 重做 Git 后端
今天最具体的一条,是 MIT CSAIL 让 GPT-6 Astra 直接读改另一个模型的权重:只动了 Qwen3.5-0.8B 约 0.016% 的参数,MATH-500 从 7.9% 升到 48.1%。同一天,OpenAI 公开了为 Codex 并发重写的 Git 后端 Pando,Anthropic 更新 IPO 文件,把 8954 亿美元算力承…
今天最具体的一条,是 MIT CSAIL 让 GPT-6 Astra 直接读改另一个模型的权重:只动了 Qwen3.5-0.8B 约 0.016% 的参数,MATH-500 从 7.9% 升到 48.1%。同一天,OpenAI 公开了为 Codex 并发重写的 Git 后端 Pando,Anthropic 更新 IPO 文件,把 8954 亿美元算力承诺摆上台面。能力在往底层走,账也在放大,两件事都还缺独立核验。
一、权重空间编程:模型开始直接读写别人的参数
MIT CSAIL 的四位研究者 11 月 2 日公开一组实验:把 GPT-6 Astra 接到另一个模型的原始权重上,让它在自然语言目标下读取、定位并修改参数,全程不用梯度,也不写训练循环。他们把这套做法叫“权重空间编程”。
最直接的一例是 Qwen3.5-0.8B。这个模型开思考模式后容易陷入重复循环,93% 的回答顶到长度上限。Astra 在 Python 沙箱里对着权重工作,用练习题做 50 次前向,定位到第 15、19 层 MLP 写出的一个方向,从各 64 个输出列里减掉,共改动 131,072 个权重,约占总量的 0.016%。改完 MATH-500 从 7.9% 到 48.1%,GSM8K 从 13.8% 到 67.1%,IFEval 从 21.0% 到 62.3%。
另外几组实验更接近“读”和“写”的边界。四个结构完全相同的 PPO 策略网络各 17,253 个权重,不给游戏名,Astra 从权重文本认出打砖块、乒乓、吃豆人和过马路;一辆训练了 10 亿步仍 256 次全失败的仿真上坡车,Astra 看了权重和一次失败录像,一次回复改掉约 3.5% 的参数,之后 1,024 局全部成功;MinAtar 三款游戏里,它在无数据、无梯度、不允许试玩的条件下一次写出权重,打砖块得分压过训练 5 亿步的 PPO;约 148 万参数的 9×9 围棋网放不进上下文,就改用沙箱读写张量,50 次前向后能打过训练约 2000 万局的同规模网络。
边界要说清楚。这批结果全部由作者自报,还没有独立复现。同一方法放到很少循环的 Gemma 3 270M 上没有提升,作者自己的结论是“改权重能去掉挡住能力的障碍,加不出模型本来没有的能力”;另有研究者公开的类似实验里,有一个任务被发现用测试集数据拟合,那个结果被判无效。Jürgen Schmidhuber 则在公开回复里说,这和 1990 年代的 fast weight programmer 是一回事,属于旧思路的再发现。它是一次方向的展示,还不是可复用的工程手段。
源链接:
二、Pando:为 Agent 的并发写入重做 Git 后端
OpenAI 同日发布技术博客,说明为自家单体仓重写的 Git 兼容后端 Pando。Codex 把仓库推到“多分支并发写、海量并发读”的强度之后,旧系统从去年底开始慢推慢拉、合并失败,可靠性一度低于 90%。
他们没有换掉 Git 工作流,而是换后端。做法是松开两个旧假设:单条 ref 仍可串行化,全仓只保因果一致;pack 进对象存储,元数据只记 tip、依赖与包指针。这样推不同分支互不阻塞,读多条分支时也不必假设它们来自同一快照。
结果方面,生产中位推送延迟降到原来的约五分之一,日均吞吐接近 1 PB Git 数据;中位 pack 小于 20 KiB,P99 小于 3 MiB;读侧把 have/want 映射成已存在的 ref version,用 packfile-uri 下发可缓存包,命中率超过 99%,标准机可以吃满 10 Gbps。
项目约 10 周从立项走到生产,用 Rust 重写,先跑双写代理再分期切流;Greg Brockman 说正在考虑把 Pando 开放给外部使用。这些数字来自官方博客和作者转述,仿真口径与生产口径需要分开看。
源链接:
三、Anthropic 的十二倍增长与 8954 亿美元承诺
Anthropic 更新 S-1/A,首次披露第三季度业绩:营收近 170 亿美元,约为去年同期的十二倍;运营成本 175 亿美元,季度净亏损 233 亿美元,高于去年同期的 121 亿美元。
文件里比亏损更值得看的是承诺结构:算力与基础设施合同总额约 8954 亿美元,其中 4475 亿美元须在 2031 年前支付,只有 2138 亿美元可取消或附带条件。收入在涨,支出时间表已经排到五年后。
同一条消息引出两种完全相反的解读。一种认为十二倍增长说明企业需求真实存在;Gary Marcus 则说,让人相信这些数字足以支撑世界级生意,才是这家公司“真正天才”的地方,实际财务状况在往灾难方向走。两种判断用的是同一份文件,分歧在对承诺兑现概率的估计。
需要保留的边界:上述数字来自 IPO 文件的媒体转述与二手汇总,没有审计口径;可取消比例说明大部分承诺是硬的,但硬到什么程度取决于合同条款,公开材料没有逐条披露。
源链接:
- https://the-decoder.com/anthropic-grows-revenue-twelvefold-but-posts-23-billion-loss/
- https://x.com/rohanpaul_ai/status/2117368258571784296
四、Claude API 的消息线程:省掉历史重传
Anthropic 给 Messages API 上线“消息线程”公测。服务器替开发者暂存对话几分钟,下一轮只需发新消息和上一条回复的 ID,不用再把完整历史重发一遍。
官方数字是:50 万到 100 万 token 的请求,从发出到 Claude 开始输出的等待时间中位数缩短约 35%;长对话里单次请求大小的中位数从约 800 KB 降到 1.8 KB。价格、限流和 token 消耗都不变,省的是上传,不是账单。
限制不少。线程 5 分钟没有新请求就过期并返回 404;中途不能改系统提示词、工具或模型;不支持零数据保留和 HIPAA 合规,对数据留存有严格要求的企业反而更难用。Claude Code 已经给多数用户默认开启这个功能。
这件事的价值在于它承认了一个尴尬前提:Agent 一次会话可能发几百个请求,长对话的历史重传本身就是延迟来源。线程只是把这段重复传输拿掉,缓存断点仍然要自己设。
源链接:
五、DeepSeek 的常驻路由:把记忆从会话里拿出来
DeepSeek Harness 团队放出 MIT 许可的 dsh-superagent 原型,面向单个 GitHub 仓库工作:常驻 Router 接活派活,每个 Ticket 交给上下文隔离的 Worker 会话并行执行,干完提交 Pull Request 等人工审核。
它想解的是智能体绑死在一次手动会话上的问题。按项目介绍,这套结构换来跨会话记忆、多任务并发和异步交互;后台的活没干完,也能接着接新要求。团队同期上线创作者模式,用户可以自己写插件。
仓库自报的模拟测试里,p95 完成时间 15.7 分钟,单会话基线 29.5 分钟。这个数字要打折看:数据来自合成消息与模拟工具,作者自己提醒实验时长按四分之一缩放,也没有第三方复现。
真正值得记的不是 15.7 分钟,而是分工方式:把“记住前面聊过什么”从模型上下文里拿出来,交给路由和会话管理层。这和同一天 Codex、Claude Code 在上下文传输上的改动,方向是一致的。
源链接:
六、决策模型成为独立一层:检索、听觉与抽取
康奈尔的 DecisionRAG 把检索拆成“在树上下判断”:语料本身有主题、文档、段落层级,决策模型 Jev 在每一层对全部候选做一次前向,判断值不值得往下展开,不生成 token,也不需要预建向量索引。
作者报告的数字:相对“稠密检索加 8B 重排”,MultiDoc2Dial 上 R@1 高 13.8 点,Natural Questions 的 268 万段落上 Hit@1 高 17.4 点;单次耗时 0.7 到 1.8 秒、成本 0.2 到 2.3 美分。同一棵树上改用 GPT-5 生成导航决策,精度差不多,但慢 34 到 145 倍、贵 21 到 25 倍。
同一天还有两个同方向的组件。Hume 的音频决策 API 直接听音频本身,回答“来电者是否烦躁”这类问题并给出置信度,不需要转录;Sage 2 把文本抽取做成一次前向,返回结构化值、原文位置和概率,厂商声称文档抽取比 Opus 5.5 便宜 75 倍。
共同点是模型不再靠“生成一段话”完成任务,而是输出一个判断或一个结构。边界也一致:DecisionRAG 的精度依赖树结构和节点描述质量,剪枝不可逆;厂商给出的延迟与价格对比目前都是自报口径。
源链接:
七、Code Mode:工具目录被压成一个 exec
Philipp Schmid 记录了工具调用的一次收敛:Agent 不再每轮返回一个 JSON 动作,而是只拿到一个 exec(code),在 TypeScript 或 Python 沙箱里把查询、过滤、修改、并行一次串完,中间结果大多不进上下文。
支撑它的是模型能力变化:前沿模型在“单次生成里组合有依赖的动作”上更稳,MCP 服务也开始同时给 inputSchema 和 outputSchema,模型运行前就知道返回类型。harness 把几十个工具的 schema 压成一段类型声明,text()、image()、audio() 决定哪些输出进入下一轮。
已有产品数据:Factory 把 Droid 1.0 切到 Code Mode 后,Terminal-Bench 4 准确率约提升 3.5 个点,模型花费约下降 15%。Pi、OpenAI Codex 等也已默认或支持这套方式。
作者自己也留了余地:不是每个 Agent 真的只剩一个工具,很多为 bash 和人类可读文本优化的 CLI、Skills,接到类型化执行上未必顺。这更像工具层的一次重新分层,而不是终点。
源链接:
- https://x.com/_philschmid/status/2117278154918092817
- https://x.com/shao__meng/status/2117428427380957442
八、OpenAI 把安全判断前移到模型内部
OpenAI 公开了自 GPT-5.6 起在最强模型内部与外部流量上部署的激活分类器:用模型内部激活逐 token 实时打分,可在生成中途阻断违规回复和工具调用,再交给推理模型复审。
他们说这类探针比更大的文本分类器对测试过的越狱攻击更鲁棒,准确率随模型能力提升,并且在各后训练检查点之间迁移良好。
限制同样明确:换新基础模型需要重新训练,且只能检测可以显式训练的已知违规类型。安全判断被前移到模型内部,覆盖范围仍由训练数据划定。
同日 OpenAI 还调整了两件事的力度:提高安全漏洞赏金,并新增报告质量、忠诚度与专项活动奖励;同时宣布与 Cathedral Systems 合作开展下一轮内部安全演练,用 AI 测试和加固自身防御。前者把外部研究者的持续投入变成可计价的关系,后者承认攻击面已经大到需要外部专长。
源链接:
九、世界模型与空间理解:三条研究线同日出现
清华姚期智与袁洋团队提出代数世界模型 AWM:先从环境探索生成 Python 假设,再把规则凝练成 Lean 4 断言,让“世界模型”从现象记录变成可以机械检查的东西。报道称基于 Opus 5 的系统通关 ARC-AGI-3 的 183 关,得分 99.9%,平均动作数是人类基准的 43%。
同一方向的另一面是评测。SpatialScout 要求智能体自己选视角、自己调相机与几何工具,最后交出物体的三维坐标;正式评测含 80 个场景、3,140 个实例,Opus 5.5 平均 IoU 为 41.71%,Astra 为 33.16%,Sonnet 5.5 只有 32.28%。主动探索这件事,目前连最强的模型也只做到四成。
长上下文那边是机制层面的进展。复旦与上海创智学院的 OpenMOSS 团队把 NoPE 全注意力与滑窗、门控线性注意力逐层拆开比较,提出 SWLA 等改法;在 RULER NIAH-SK1 上,模型从 4k 训练长度免训练外推到 64k,准确率仍是 100%,代码已放出。
三条线的共同点是都在给“模型如何理解世界”设可检验的门槛,而不是比谁的故事更大。边界也一致:AWM 的证明只对已观测世界成立,探索漏掉的地方只剩局部真理;SpatialScout 的成绩说明主动空间理解还在早期;OpenMOSS 的结果是单一基准上的外推表现,不等于真实长文档任务。
源链接:
十、算力的电与钱:并网、融资与地方阻力同时收紧
OpenAI 推出 Grid Protectors 计划,与电力公司、监管机构和政策制定者合作,让未来的算力校园在电网紧张时主动降低用电需求,首站是佐治亚州 Effingham County 的校园。按官方说明,目标是把数据中心从“只会抢电的大用户”变成可调度的负荷,同时保护居民电价。
抓取保留的摘要提到,原文给出了与 Georgia Power 合同的具体可削减容量与电费影响数据,但摘要没有保留这些数字,这里不引用。这意味着计划目前只能按方向判断,不能按容量判断。
钱的那一头是另一种结构。腾讯科技梳理了 CoreWeave、甲骨文、Lambda 与 Anthropic 的基建融资安排:债券和股市一波动,市场就开始区分项目的抵押结构与偿债能力。其中一笔 630 亿美元的安排拟通过 SPV 买下博通 AI 加速器与网络设备,再租给 Anthropic,博通为设备残值兜底。
这类做法把设备、租约和信用分层打包,让不同风险偏好的资金各吃一段。好处是能支撑超大规模采购,代价是一旦租金或估值预期变化,链条上每一层都要重新定价。
阻力在第三处出现。TechCrunch 在布鲁克林的选举活动上发现,AI 与数据中心几乎贯穿所有讨论;报道引 Data Center Watch 数据,近 2000 亿美元数据中心项目因政治与社区反对被延迟、停滞或受阻。
三条放在一起看,才算完整:需要长期兑现的采购合同、越来越难拿的地方许可,以及必须谈下来的电价与并网条件。金额与各州进展来自报道所引第三方材料,没有逐项核对。
源链接:
高价值单点
- OpenAI LifeVal 基准:面向日常生活任务的评测,覆盖找托儿、办政府手续、管理个人财务,题目由数千名 ChatGPT 用户的反馈确定;OpenAI 说过去一年已用它衡量和改进模型。https://openai.com/index/lifeval
- 订阅闸门与共用额度池:报道称 OpenAI 给每台设备和每张支付卡可开通的付费账户数设了上限,触线用户退出登录也不释放名额;同时把 ChatGPT 与 Codex 的额度并成按 token 计的共用池。具体上限、额度与上线日期都未公布,属报道口径。
- OpenAI 融资与受阻的数据中心:新一轮融资原定 300 亿美元,目前约 110 亿美元承诺,估值约 1.25 万亿美元;另有报道引第三方数据,近 2000 亿美元数据中心项目因政治与社区反对被延迟、停滞或受阻。两处数字都是二手转述。
- 腾讯混元 Hyra 2.0:把自动化科研从直接解题转向由 agent 研发和升级科学模型、工作流与工具,采用 Overall、Mission、Worker 三层分工,接入企业微信、计算平台与代码仓库,成果已公开在 GitHub 仓库。
- DeepSeek Search / Fetch 结束免费:两个网页工具 API 开始按成功请求计费,每千次 0.75 美元,与返回条数、token 无关;Search 限 100 QPS、Fetch 限 25 QPS,失败、空结果与超时不计费。
- PyTorch 2.15:重写后的 NCCL 后端成为默认,加入 NIXL 单边传输,FSDP2 与流水并行获得更细的显存和通信控制,Blackwell 上支持 NVFP4 解码,Apple Silicon 支持 FP8。11 月 5 日有官方问答。
- 在轨 TPU 跑起 Gemma 4:Google 说原型卫星上的数据中心级 TPU 首次在轨完成推理并把完整回应传回地面。质疑集中在一次演示证明不了高密度太空 AI 的散热、抗辐射与经济可行性。
- 白底白字里的提示注入:巴西一所劳动法院发现两名律师在提交材料中用白底白字藏英文指令,要求 AI 肤浅作答、不要质疑文件,两人因此受罚。讨论随后转向法院用大模型审文书时的人工复核与责任边界。
- 阿里在直播间卖 Token:双 11 直播间上架 Token 并发放 20 万亿 Token,当晚 30 万份售罄,千问办公做到一分钱一个月,阿里巴巴副总裁陈宇森站台。算力第一次以消费品方式分销。
- 零售机器人复盘:量子位复盘红旗连锁的机器人无人售货项目,结论是项目已停,理由包括没达到大规模商业化标准、投入产出算不过来;门店里的机器人仍被抓取、光照、避障和人工值守卡住,部分项目更像展示与文旅引流。
- Vals AI 的政治题测试:把 25 个模型逐个问政治题,结果是中文模型内部分歧,西方模型有时也站到北京官方口径上,提示语言的影响格外明显。目前只有媒体摘要,论文与完整方法没有核验。
- Cloudflare 的 DNS 重建规划器:过去改一个 zone 设置会重建整个 DNS zone,即便有数千万条记录;新的规划器挑选最小安全重建,全量重建减少 40%,峰值内存下降 85%,构建延迟减半。
- Karpathy 的 HackerTube:从 Hacker News 多年评论里筛出约 4 万条推荐,拼成 6,454 个视频、150 个主题的站点,两小时上线,人工只处理密钥、VPS 和域名。
🕐 小时信号精选
| PT 时间 | 信号 | 为什么值得记住 |
|---|---|---|
| 00:00 | InferSSD 改自 llama.cpp,用标准 GGUF 从 SSD 流式加载 763B–816B 级 MoE | 本地大模型推理又多了一条存储换显存的路线 |
| 02:00 | 浙大团队开源个人 Agent 系统报告与 nanoMuse,以 Meta Muse 为对照 | 个人 Agent 开始出现可对照的系统定义,而不只是产品口号 |
| 03:00 | Grok Bot 可读取并分类 X 书签,替代人工整理 | 助手接入个人数据的实际用法,比榜单更能说明产品位置 |
| 06:00 | Anthropic 开放驻留研究员申请,年薪 35–50 万美元,不要求机器学习背景 | 安全研究的人才入口放宽到其他领域的资深人士 |
| 10:00 | 阿里副总裁进入李佳琦直播间卖 Token,30 万份售罄 | 算力以消费品方式分销,定价心智从订阅转向按次 |
| 11:00 | DeepSeek Harness 上线创作者模式,插件可由用户自写 | Agent 产品开始把扩展能力交给用户,而非官方逐个开发 |
| 12:00 | 腾讯开源 WeKnora,文档、RAG 与可回滚 Wiki 共用一套知识库 | 企业知识库从单一检索走向多种能力共用底座 |
| 14:00 | 陶哲轩批评自动化数学是“掠夺式挖掘”,方法与生态无人同步培养 | 争议点从证明对错转向学科长期能力,属转述口径 |
| 16:00 | Gemini 4 Argon 的实际搭配被总结为“Argon 出评审文档、DeepSeek 落地执行” | 多模型分工的具体用法开始稳定下来 |
| 17:00 | 有人公开声称复现了权重空间编程的部分结果 | 这条研究线第一次出现第三方复现动向,仍需等完整材料 |
编辑结论
今天几条主线指向同一件事:模型开始被允许直接操作原本由训练流程和基础设施负责的东西——权重、上下文传输、源码写入路径。能力往下走的同时,商业账更紧:Anthropic 的承诺排到 2031 年,OpenAI 的融资只到目标的三分之一。技术进展和财务约束,现在跑在不同速度上。
来源与方法
审阅 29 个抓取输入,其中 20 个小时抓取、9 个命名源,合计约 256 KB,信号池判为 rich。限制:AI Valley 最新一篇为 10 月 29 日,不在当日窗口;Chrome、Claude、Cline、Google Research 当日无新文;XiaoHu 抓取失败;多数公司数字未经独立核验。
