ATTAYN Intelligence
REPORT NO. 003 / 2026.03.09

GLM-5 复刻 DeepSeek V3 路由,Karpathy 重构极简训练流 | AI深度观察-2026.02.12

2026.02.12   |   Posts
题图

基于您提供的 247 条推文流,以下是今日的《科技前哨·每日深度内参》。


⚡️ 核心洞察 (Core Insights)

1. 编码范式大转移:从 “Syntax” 到 “Spec” 工程师的职责正从编写循环/条件语句(Implementation)不可逆地转向编写高层需求规格(Specification)与代码审查(Review)。“Context Engineering”(上下文工程)正在取代 Prompt Engineering 成为新的系统瓶颈。

2. 开源权重的「反击时刻」 GLM-5 的发布打破了闭源模型垄断,在架构上采用 DeepSeek 稀疏注意力机制,并在 benchmarks 上超越 Gemini 3 Pro,证明了开源模型在推理效率与智能水平上的双重追赶。

3. 自主 Agent 的「落地陷阱」与「炒作泡沫」 尽管 OpenClaw 等项目引发了关于 “24/7 自主赚钱机器人” 的病毒式传播,但资深开发者指出,真正的多 Agent 系统构建需要数周的失败调试与自我修正循环,绝非 “一日速成” 的神话。


🛠 技术演进与工程实践 (Engineering & Tech Stack)

[LLM Architecture & Inference]

  • GLM-5 架构解密:Zhipu AI 发布的 GLM-5 在架构上与 DeepSeek V3 高度对齐。
    • 关键参数:MoE 架构采用 256 个专家(Experts),每个 Token 激活 2048 参数(Expert size),与 DeepSeek V3/V3.2 完全一致。
    • 注意力机制:集成了多头潜在注意力(Multi-head Latent Attention)和 DeepSeek 的稀疏注意力(Sparse Attention)机制。
    • 性能表现:在 Artificial Analysis 的智能指数上超越 Gemini 3 Pro,且推理速度达到 40 t/s。
  • 极简训练框架:Andrej Karpathy 发布了仅 243 行 Python 代码的 GPT 训练与推理实现(Micrograd 升级版)。
    • 核心逻辑:剔除所有依赖,仅保留前向计算与反向传播的梯度链(Chaining),证明了核心算法的极度可压缩性。

[Agentic Workflow & Memory]

  • SKILLRL (Agent 学习新范式)
    • 痛点:传统 Agent 记忆存储的是原始轨迹(Raw Trajectories),包含大量噪声和冗余步骤。
    • 解决方案:模仿人类学习,将成功与失败的经验蒸馏为可复用的 “Skills”(技能),而非死记硬背路径。这显著降低了 Context 污染,提升了泛化能力。
  • Context Engineering (新基建)
    • 趋势:构建 Agent 的核心工作量已从模型微调转移到上下文管理(PostgreSQL 对话历史、S3 文件存储、格式转换)。
    • 工具涌现:出现了如 Acontext 这样的 “Agent 版 Supabase”,专门处理 OpenAI 与 Anthropic 之间的消息格式转换、Token 压缩与检索。
  • Observational Memory 质疑
    • 观点对撞:虽然 Observational Memory 在 LongMemEval 上表现优异,但专家质疑其过度拟合了评估集。压缩式记忆(Compressed form)虽然节省 Token,但 inherently lossy(有损),在生产环境中可能丢失关键语义细节。

[Coding Assistants]

  • Claude Code 进阶用法
    • 配置化:支持通过 settings.json 配置 37 项设置与 84 个环境变量,支持企业级策略注入。
    • Cowork 模式:展示了强大的文档解析能力,能一次性处理 107 个复杂商业文档(PPT/Excel/Word)并提取核心逻辑。
    • Missing Manual:社区发布了针对 Claude Code 的防幻觉工作流手册,强调通过 “Effort Level” 调节来控制 Token 消耗。

📈 产业格局与商业逻辑 (Industry & Strategy)

  • GitHub 生态的 AI 渗透率
    • 数据信号:SemiAnalysis 数据显示,当前 GitHub 公共提交中有 4% 由 Claude Code 生成。
    • 预测:按此趋势,到 2026 年底该比例将突破 20%。这意味着初级开发者的生存空间将被彻底挤压,“Junior Dev” 角色正在消失。
  • OpenClaw 的病毒式扩张
    • 现象:OpenClaw 项目 GitHub Star 数飙升(甚至有推文戏称超越 VSCode),引发 “自主赚钱 Agent”(如 Wacko bot)的部署热潮。
    • 商业逻辑:从辅助人类工作转向 “为人类打工”(例如自动管理社交媒体账号、自动发帖)。但这引发了关于互联网内容将由 AI 互搏(AI 生成 vs AI 消费)的担忧。
  • Anthropic 内部动荡
    • 人事变动:AI 安全负责人离职,理由是公司发展方向与安全价值观日益背离。这通常是激进商业化(Accelerationism)压倒保守安全派(Safetyism)的典型信号。

📎 值得关注的"信号" (Under-the-Radar Signals)

  • Prism (Attention Optimization):一种无需训练的各种方法,利用谱感知块稀疏注意力(Spectral-Aware Block-Sparse Attention),可显著加速长上下文 LLM 的 Prefilling 阶段。
  • Aletheia (Math Agent):基于 Gemini Deep Think 改进的数学研究 Agent,声称能产生可发表级别的数学研究成果。
  • IterX:允许 AI Agent(如 Claude Code/Cursor)直接接管开发工具集成的全流程,进一步降低了 “Human-in-the-loop” 的必要性。

🧐 今日金句 (Hardcore Quotes)

  • 关于编码的本质变化

    “I went from writing code to writing specs… I’m now operating at a much higher level of abstraction. Much more focus on the WHAT to build, instead of the HOW to build it.” —— @svpino

  • 关于 Agent 落地真相

    “Everyone claiming they set up their Clawdbot in a day is showing you a gimmick… Your agent needs to fail repeatedly before it works. Clawdbot isn’t a tool. It’s an apprentice. Teach it.” —— @kloss_xyz

  • 关于职业前景

    “If you work on a laptop, your job description is about to get rewritten.” —— 引用 Mustafa Suleyman