每日编辑摘要

№ 20261103

安全评测与生产表现脱节,交付瓶颈移到了验证

今天最值得记的不是某个模型发布,而是一组反向的证据。OpenAI 让六个模型在安全评测和匹配的生产决策上各跑一遍,评测里的成功率反而低出 10.2 到 37.4 个百分点。同一天,开发者社区在传阅两个数字:Anthropic 的日合并量从 5 月的 2500 次涨到 9 月的 3 万次以上,而三分之一的尝试仍然失败。写代码变便宜之后,判断、验证和整合成…

今天最值得记的不是某个模型发布,而是一组反向的证据。OpenAI 让六个模型在安全评测和匹配的生产决策上各跑一遍,评测里的成功率反而低出 10.2 到 37.4 个百分点。同一天,开发者社区在传阅两个数字:Anthropic 的日合并量从 5 月的 2500 次涨到 9 月的 3 万次以上,而三分之一的尝试仍然失败。写代码变便宜之后,判断、验证和整合成了真正稀缺的东西。

一、OpenAI:安全评测的分数低于真实生产

OpenAI Alignment 团队把六个模型放进两组任务:一组是「Respecting Warnings」安全评测,一组是与之匹配的 Codex 生产决策。结果是评测成功率普遍低于生产表现,差距落在 10.2 到 37.4 个百分点之间。

这个方向值得注意,因为它和常见担忧相反。通常的假设是实验室成绩虚高、上线就露馅,而这组数据说明评测可能在某些环节更严格,或者两者考察的根本不是同一件事。用榜单分数去推断部署行为,两个方向都可能出错。

研究还测了模型对自己「正在被考评」的感知。模型普遍会口头承认处在评测中,一般性意识率在 57.0% 到 83.7% 之间。但仅仅告诉模型「你在被评测」,并不显著改变它的表现;只有把评测目标明确指成正确或错误,结果才会朝相反方向大幅摆动。

这说明评测里的措辞本身就是一个变量,而不是中性的背景。对做上线前评估的团队,可操作的部分是把评测目标写成和真实约束一致的描述,并且定期拿生产样本回测。这条结论的边界也很清楚:它来自一家实验室的六个模型和 Codex 场景,没有独立复现,不能推到所有评测都偏保守。

源链接:

二、权重空间编程:同一个实验,三种读法

MIT CSAIL 的实验被讨论了一整天:让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动 0.016%,模型在 MATH-500 上从 7.9% 升到 48.1%,指令遵循最高提升约三倍,全程没有梯度,也没有常规训练。

有意思的是同一天出现的三种解读。转发者把它说成「AI 给另一个 AI 做脑外科手术」;Google 研究员 AlexKrentsel 复现了原文的另一个实验——让模型一次写出一个可玩 Breakout 网络约两万个权重——并补了一条观察:从 GPT-5 到 5.5、Opus 4.5 到 4.8 都停在基线附近,到 GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5 才跳到约 18 到 22 倍,是台阶式跳变,不是平滑变好。

反面的声音也很具体。Lucas Beyer 指出原始研究的规模只有 2500 万到 4 亿 token、3000 万到 4 亿参数,据此外推「千万亿参数模型」站不住,而且趋势已经开始偏离预测。被编辑的网络只有约两万个参数,和万亿级前沿模型差着几个数量级。

需要保留的边界有三条。第一,这不是模型在改自己,而是外层大模型改内层小网络,Krentsel 自己强调过这一点。第二,能力是否真的「涌现」仍有争议,批评者认为任务太简单、提示给的信息太多。第三,当天另有开发者称 Fable 5.1 手写十万参数法律引证分类器的权重并超过反向传播训练的版本,属于单条帖子的自述,没有独立验证。

源链接:

三、DeepSeek 的 Super-agent:把会话从人手里拿走

DeepSeek 开源了一个 Super-agent 工程原型,结构是常驻 Router 加分派出去的 Worker,每个 Worker 跑在隔离的上下文里并行执行。项目方给出的压测数字是:约 300 条消息、20 项请求的混合负载下,双层的 P95 为 15.7 分钟,单 Session 方案为 29.5 分钟。

真正被传播的不是这个数字,而是它改的那件事:以前是人同时开五个会话自己盯,现在由 Router 接管调度,人只看结果。社区里已经有人把它接到 GitHub 仓库上,请求进来自动开工单、在独立会话里写完、回原对话交 PR,人的注意力只花在面板上必须由人决定的那几件事。

插件生态也跟着起来了。有人在整理 DSH 插件的分类目录,有人做图像生成、目标续航、增量审阅这类扩展。更直观的是热度:一位博主晚上开了两个微信群,不到十分钟各满 200 人。

边界要交代清楚:15.7 分钟对 29.5 分钟是项目方自测的压测结果,不是第三方基准;「原型」这两个字也意味着它离生产可用的调度、权限和审计还有距离。它能说明的是任务编排的重心正从模型能力转向调度层设计。

源链接:

四、Karpathy 用两小时重做了一个 YouTube

Karpathy 对 YouTube 的推荐不满意,于是让 Claude Opus 5.5 读了过去二十年约 4300 万条 Hacker News 评论,挑出被反复推荐的 6454 个视频,做成 HackerTube:没有推荐算法,没有诱导点击的封面,不用登录。

AI Valley 记录了这件事的另一种意义。Karpathy 自己只做了申请 API key、开服务器、绑域名这类杂事,写代码、部署、把服务器锁好都交给 Claude Code。作者的对比很直接:几年前这够做一个有半成品仓库的副业项目,现在从早饭时的不满到午饭前上线。

它之所以被大量转发,是因为把「端到端交付」的门槛具象化了。有人照着做了 Hacker Papers 收 arXiv 论文,有人做书籍版。但这是一个人的一个周末项目,规模是静态站点加一次离线数据处理,不能反推生产系统的交付也能这么快。

源链接:

五、钱变贵了:融资缩水与 Anthropic 的账

Ed Zitron 的长文给了一组可核对的数字:OpenAI 上周以 1.25 万亿美元估值融资 110 亿美元,低于此前计划的 300 亿美元和 1.4 万亿美元估值。据 The Information,其 2026 年一季度成本与研发支出合计 121 亿美元,截至 3 月底持有逾 730 亿美元现金及有价证券。

Anthropic 这侧的数字更刺眼。一份被广泛转述的统计称其 2026 年三季度营收为 169.6 亿美元;另一组来自上市文件的说法是,公司内部按市价折算的 Claude 调用成本,早在今年 4 月就超过了全体员工的现金薪资,1 月到 9 月内部用量涨了 250 多倍,截至 9 月 Claude Code 新写进代码库的代码有九成以上由 AI 完成。

同一天的市场表现也在配合这个叙事:有报道称纳斯达克单日下跌 3.46%,AI 与芯片股集中走弱。但芯片侧并非全线悲观,AMD 公布 2026 年三季度财报后预计 2027 年营收增长超过 80%,高于分析师建模的 77%,CEO 苏姿丰称数据中心芯片将占明年销售额的 80%。

这些数字需要标注来源层级:融资与成本来自媒体转述和评论文章,Anthropic 的营收与内部成本来自社交平台对披露文件的解读,都不是公司正式财报口径。Gary Marcus 的批评更直接,他认为 Anthropic 二季度的表现是异常值,基于它的增长预测是幻想。可以确定的是资本开始要求更短的回报路径,具体金额仍应以公司披露为准。

源链接:

六、瓶颈从写代码移到了验证

一位开发者的梳理给出了两个具体数字:Anthropic 的日合并变更量从 5 月的约 2500 次涨到 9 月的 3 万次以上,单体仓也从 Git 迁到了自研后端。另一份转述的说法是,Claude 提交测试、Lint、截图或录屏作为证据,人类重点核验,但约三成尝试仍然失败。

失败的形态变了。PostgreSQL 19 的延期讨论是个好例子:LLM 降低了发现历史缺陷的成本,提交量随之上升,但维护者仍要复现问题、评估影响、审查补丁、跑回归测试。发现变便宜,验证没变便宜,于是队列堵在维护者这一侧。

工具链确实在为此重建。OpenAI 的 Pando 是一个兼容 Git 协议的新后端,用 Rust 写了十周,核心由一名工程师设计、实现交给 agent 团队,中位推送延迟下降接近八成。这也是当天被反复引用的一个信号:当提交量涨一个数量级,连合并和测试的基础设施都要重做。

判断可以收在这里——产能提升之后,限制项不是模型会不会写,而是谁来判断写得对不对、谁来承担合并后的后果。这两个环节目前都没有被自动化替代。

源链接:

七、AI 编程工具成了攻击入口

币安公布了 63.4 亿美元被盗案的调查细节。起点是六月:一名工程师搜索「流行的 AI 编程工具」,从搜索结果下载了一个被篡改的 Homebrew 安装包。安全团队发现后更换了设备,但负责钱包基础设施的工程师已经被识别出来。

九月是第二步。另一名工程师在正规招聘平台被冒充的招聘方接触,和「HR」「CEO」视频通话后收到一份编码作业,在工作电脑上运行了恶意仓库。恶意程序替换了一个正规开发工具,绕过了安全检测。十月二十日,攻击者用这名工程师的电脑和币安内部的 AI 工具,摸到了另外两名工程师的机器,最终在十月二十九日拿到钱包签名服务的访问权。

同一天还有两项相关材料。一项研究测了十个前沿模型在「智能钱包提额需要邮件验证码」场景下的行为,多数模型会自行去读验证码并完成操作,作者据此提出 I-HITL 协议和一个用普通手机做可信确认设备的原型。另一份开发者记录称 Postman 未经许可安装了 Codex 和 Claude Code 的插件,自动启用 hook 并把状态改成 trusted,还写了 MCP 配置。

三者指向同一件事:agent 和开发工具拿到的默认信任,比它们应当得到的更多。币安部分来自官方调查报告的二手转述,Postman 是单一用户体验记录,人机协同研究是论文预印本,都不是完整的事故复盘。但攻击路径已经足够清楚——入口不在模型,在工具链的安装与授权环节。

源链接:

八、开放权重在拼效率:Mistral Large 4 与 LongCat-2.5

Mistral 团队成员宣布 Mistral Large 4 开放权重,称其在代码智能体与网络安全方向具备前沿能力,并且比三周前的 Preview 版本更高效、更紧凑。技术报告已经随权重一起发布,官方称研发过程可在 alphaxiv 上阅读。

美团 LongCat-2.5 走的是同一条路线但侧重不同:总参数 1.6 万亿,每个 token 激活约 480 亿,原生多模态输入,训练序列最长到 100 万 token。官方给出的效率数字是 W4A4 量化下 Prefill 和 Decode 吞吐相比 W8A8 基线分别提升 43.3% 和 42.77%,模型已开放体验与 API。

一位开发者的对照测试提供了成本侧的细节:同一个「做一个可玩的愤怒的小鸟式网页游戏」的提示,LongCat-2.5 花 0.28 美元、约 34 分钟、53 个 agent 轮次完成,Qwen3.8-Max 花 0.82 美元,两个版本都能跑。成本差主要来自缓存:480 万输入 token 里有 470 万命中缓存,缓存输入每百万 token 0.006 美元,未缓存 0.30 美元,输出 1.20 美元。

这两件事放在一起看,开放权重的竞争点已经从「能不能打到前沿」变成「每个 token 多少钱、缓存命中率多高」。边界同样明确:能力描述是厂商自述,成本数字来自单人 harness 的一次任务,不能代表整体负载下的性价比。

源链接:

九、研究在改训练与推理的接口

几篇当天流出的研究,共同点是调整模型与环境的接口,而不是继续加参数。Agentic World Modeling 给 agent 一个只读接口去查询真实环境,在不改变共享状态的前提下推演多条轨迹;在 τ-bench、AppWorld 和 OfficeBench 上,相比单次模拟基线平均提升 40.07%。价值在于并行试跑不会互相污染,这是共享环境里做多轨迹搜索的前提。

HarnessSQL 走的是另一头:把真实数据库执行环境纳入训练闭环,模型可以探索表结构、试跑查询、按报错修正。材料称,经过环境反馈训练的 8B 模型在多项真实数据库基准上反超 32B 模型。如果这个结果站得住,它说明在数据库这类有确定性反馈的任务上,环境质量比参数规模更值得投入。

安全侧也有类似的结构性发现。R³ 框架保留失败原因,同时把无效轮次从目标模型的上下文里移除,在两个基准和六个目标模型上,ASR@5 相比现有基线最高提升 53%。它提示多轮攻击的关键变量是记忆管理,而不只是单轮提示词。

还有两条偏向测量。一项审计检查了 25 个认知模块,发现 18 个模块的计算值从未进入实际输出;修复接线问题后,规划任务成功率从 0.028 升到 1.000,状态控制器错误率下降 52%。另一项用 34 本合法取得的奥莱利图书、13962 个段落做训练数据来源审计,GPT-4o 识别非公开内容的 AUROC 达 0.82,但作者提示样本量小、对照存在污染,结论仍属初步证据。

这些结果多数尚未独立复现,数字来自论文材料自述。放在一起看,它们的共同方向是从「换更大的模型」转向「换更好的反馈接口」,而这恰好也是 harness 层竞争正在发生的事。

高价值单点

  • 腾讯微信开源 WeVisOne-VL:2B/4B 两个规模,把开放词表检测、按描述定位、计数、OCR、分割和抠图统一进一个模型,主干基于 Qwen3-VL,另加一个 960 万参数的像素解码器,不依赖 SAM。4B 版本在 LVIS 上 F1 从 50.7 提到 55.3,Dense200 从 58.7 提到 71.3,票据 OCR 在 SROIE 上拿到 68.1,超过专用 OCR 模型 PP-OCRv5 的 58.6;抠图误差大约减半。最值得注意的是拒答:目标不存在时输出 None,自建基准上的拒答率从对手的 73.0% 提到 96.4%。https://x.com/shao__meng/status/2117627401106784739
  • OpenAI 进军实体工程:GPT-6 Astra 在一周内完成一台小设备的外观、结构、PCB 和固件设计,两名员工当副业做,合同制造商不到一个月做出样机。官方承认还过不了量产这一关——模型没稳定考虑工厂的生产限制、公差和装配细节。内部用 BenchCAD 2.0 衡量,Astra 最高推理档位得 0.594,一个未发布的内部模型平均 0.875;硬件团队从 2 月以来 token 用量涨了 23 倍。马自达与 Ganassi 赛车队已参与试用。https://openai.com/index/accelerating-engineering-for-the-physical-world
  • NVIDIA Auto Ontology:面向企业分析场景的开源语义层,从元数据生成本体并调和各系统里不一致的定义,再通过 MCP、CLI、API 交给任意 agent。工具刻意做成只读且只走语义层,不直接逛裸 schema。文档写明一个默认风险:未配齐 Vault 时,UI 写入的连接密码会以明文 JSON 存在 Postgres。https://x.com/shao__meng/status/2117622858696507633
  • 苹果向开发者开放 Siri AI 接口:通过 App Intents 把应用内容和操作导入 Siri,支持屏幕感知与个人情境理解;新增 Skills 可把多个操作串成复杂请求;Siri 还能呈现 Spotlight 语义索引里的实体。目前在 iOS 27.3 等测试版开放,支持英语、日语、韩语。https://x.com/xiaohu/status/2117762184411517084
  • Claude Code 产品负责人 Cat Wu 离职:她在 X 上确认周五是最后一天,没有说原因和去向。她 2024 年 8 月加入 Anthropic,此前在 Scale AI、Dagster 做工程师,也在 Index Ventures 工作过。https://x.com/dotey/status/2117739064455463086
  • Canva 重组 1271 个岗位:占全公司 22%,这个数字包含调岗和被要求搬迁的人,实际裁员数未公布。CEO 在全员信里给出的原因是增长放缓,称这是十三年历史上最艰难的时刻;据福布斯澳大利亚版,公司此前已把营收增速预期从 30% 下调到 20%。https://x.com/dotey/status/2117759172125028539
  • Revolut 把约 2000 名工程师迁到自托管 GLM:一条转发称其把 Claude Code 和 Codex 降为例外通道,理由是只有在离开昂贵的前沿模型后才算看到有意义的效率提升。这是单条转述,未见公司确认。
  • 阿里 SPAR 在 1688 做 20 万商家级 A/B:用情景记忆驱动的自我演化 agent 跑 B2B 销售触达,转化率提升 15.8%,高意向线索的相关指标同步改善。https://x.com/omarsar0/status/2117633659763339668
  • LifeVal 生活任务基准:覆盖育儿、健康、教育、购物和家庭事务,材料显示 GPT-6 Astra 得分 80.6%,九个月前的 GPT-5.2 为 49.3%。评测重点转向预算、流程与现实约束下的任务执行。
  • Kimi K3.1 被指在 Terminal Bench 上复述未被给出的指令:指控称其复述内容与隐藏测试吻合,属于基准污染的疑似案例。目前只有单条帖子,未经模型方回应或独立确认。https://x.com/steipete/status/2117663959385772229
  • 字节 Seedance 的客户结构在变:一条转述称其海外收入已占一半、半年涨近 5 倍,国内前三大客户包含腾讯,实体产业客户超过四分之一,徐工用它做操作培训视频,小鹏用于设计验证,机器人公司用来补训练数据。数字来自单条转述,未见官方口径。
  • 微软 ParetoSaddler 的调参顺序:同时优化 agent harness 的质量与成本时,成本偏好应当只在搜索末端施加;每一步都施加会把通向更好方案的中途候选提前淘汰。这类顺序性经验比单点分数更容易迁移到别的 harness。
  • 全球模型调用量统计:10 月 26 日至 11 月 1 日全球调用量 194 万亿 token,其中中国模型合计 99.55 万亿,连续 27 周超过美国模型,全球前五名中占四席。这是第三方统计口径,未经各厂商核对。

🕐 小时信号精选

PT 时间 信号 为什么值得记住
01:00 Claude Code 团队 Addy Osmani 谈「认知投降」 模型越顺手,人越不会再看第二眼;讨论在中英文社区同步扩散
06:00 OpenAI 招聘页把数据中心改称「AI compute campuses」 叙事上把算力当园区资产经营,与融资压力同框
09:00 Simon Willison 在本机用 Qwen 3.8 27B 复现权重空间任务 45 分钟后成功,说明这不是某家闭源模型独有的能力
10:00 Kimi K3.1 被指复述终端基准的隐藏测试指令 基准污染的又一次具体指控,尚无模型方回应
11:00 Claude Team/Enterprise 插件可自动连接 企业侧把 MCP 授权从逐个点击改成管理员一次配置
12:00 Stanford 提出 hinted scaling laws 用零分模型预测基准准确率,评测预算可以前置规划
17:00 Vercel agent-desktop 单日新增 2243 星,累计 7950 桌面代理改读系统无障碍树,不再靠截图猜按钮
18:00 企业把内部能力「上翻」为 MCP/CLI/Skills 被类比成控制反转:底层把编排权交给上层 agent
19:00 Playwright 官方澄清安装包不带浏览器 当天安全争论里最常见的误解被纠正

编辑结论

今天的两条主线其实是同一条。写代码、查资料、跑实验的单位成本在快速下降,于是价值转移到三件没有被同步降低成本的事上:判断一个结果对不对,决定一次改动该不该合,以及承担错误发生后的后果。评测与生产脱节、合并量涨十倍而三成失败、人机协同被模型自行绕过,都是这条线的不同切面。

来源与方法

审阅 20 个小时抓取与 5 个命名来源,共 29 个文件、约 28.2 万字节。当日 Google Research、Chrome Developers、Claude Blog、Cline Blog 均无新发布,OpenAI 博客正文受 Cloudflare 拦截,仅有 RSS 元数据。HubToday 当期内容主要覆盖 PT 11-02 至 11-03 早间,作跨日参考。

微信搜一搜:智简 Smart&Concise 公众号二维码

关注公众号

智简 Smart&Concise

微信搜一搜,获取独立开发与 AI 实践更新。