MingJunDuan的博客
热爱可抵一切,探索未知之境
全站访问量 次

模型是怎么跑起来、又怎么变聪明的:从一次推理到一次训练的后端视角拆解

你在一台 8 核 16G 的机器上,curl 了一下 https://api.deepseek.com/chat/completions,等了三秒钟,收到一段流畅得像人写的回答。 你心里可能闪过一个问题:云端那台机器,在这三秒钟里到底干了什么? 它打开了一个文件吗?跑了一段代码吗?查了数据库吗?还有那个更玄的问题:它是怎么”学会”这些的? 前两篇文章(《大模型无状态》《从大模型到 Agent》)讲的是”壳”——客户端怎么反复重发历史、Agent 怎么拼循环和工具。今天把镜头往里推一层,讲那个一直被一笔带过的”核”:模型自己是怎么算的,又是怎么被训练出来的。...

Agent 记忆:从会话记忆到长期记忆的架构与投毒防御

三个场景,请你先感受一下”记忆”这件事的两面性。 场景 A:你在 Agent 里说”帮我按上次的习惯重构这个类”,它居然记得你三个月前定下的命名规范——接口用 I 前缀、异常用自定义 BizException、日志要带 traceId。你愣了一下,心想:它怎么还记着? 场景 B:你让 Agent...

Agent 可观测性:从分布式 trace 到 Agent trace

微服务时代,线上出了问题,工程师的第一反应是打开链路追踪平台,搜一个 traceId,看这条请求在网关、订单、库存、支付之间哪个服务慢了、哪个服务报错了。这套打法在 2026 年之前几乎是可观测性的”标准答案”。 但 Agent 时代,问题变了。 你问的已经不是”哪个服务慢了”,而是: 模型为什么突然决定调用 bash 而不是先读文件? 这一轮(turn)为什么多花了...

企业级 MCP 落地:网关、鉴权与多租户

你是公司基础平台的负责人。公司里有几十个内部系统——订单、用户、支付、风控、BI、客服,各业务线的 Agent 团队都想把这些能力接进去。三个月后你发现:同一套”查订单”逻辑被 5 个团队各写了一遍;数据库密码和第三方 AK 散落在每个团队的 Agent 配置里;一个实习生写的 Agent 把生产库查崩了,没人说得清是谁干的;合规来要访问日志,你交不出来。 上一篇《MCP...

大模型无状态:Cursor 多轮对话底层是怎么和大模型对话的

你昨天在 Cursor 里跟 AI 聊了一下午,从”这个空指针怎么回事”聊到”帮我把这个类重构成策略模式”。今天新开一个会话,想问一句”接着昨天的重构继续”,结果它一脸茫然,反问你”哪个类?什么重构?” 这就引出了一个和直觉相悖的事实:那个能跟你连续对话、甚至记得你整个项目的 AI,本身是”无状态”的。 它没有记忆,没有”上一轮”的概念,更不会因为你昨天聊过就认得你。 那”多轮对话”这种连续感是怎么来的?上下文窗口到底限住了什么?Cursor 又是怎么在窗口塞不下时做”压缩”、在你点”新对话”时做”清空”的? 这篇文章延续之前《从大模型到 Agent》的剖析风格,从”无状态”这个根子出发,把...