我们每天都说“这条消息信息量很大”“那句话啥也没说”，但“信息”到底有多少？能不能像称体重、量身高那样，给信息一个确切的数字？
1948年，克劳德·香农给出了答案——信息熵。但这不是拍脑袋想出来的公式，而是从几个几乎“废话”般的直觉出发，一步步推导出来的。这篇文章就带你走一遍这条推导之路，让你不仅知道公式长什么样，更知道它为什么长这样。
想象你有一堆编号卡片（1~8），要找出某一张，每次只能问“是/否”问题。怎样问最快？
答案很朴素：每次把剩余可能性对半分。8张卡，问3次；16张卡，问4次。每问一次，不确定性减半，你就获得了1个单位的“信息”。
这个例子告诉我们：
信息的价值 = 它消除了多少不确定性。
但“不确定性”怎么量化？总不能说“这条消息有5斤信息”吧。我们需要一个数学公式。
编者按：KaTeX 是一款基于 Donald Knuth 的 TeX 系统构建的高性能网页数学排版引擎，能够为数学公式与物理符号提供细致而快速的渲染效果。笔者日常深度使用 Obsidian，该笔记软件原生支持 KaTeX，故特此翻译并整理本文，旨在系统介绍 KaTeX 所支持的 TeX 语法。本文译自官方函数列表文档。
这是 KaTeX 支持的 TeX 函数列表，按逻辑分组排序。
本文将从最基础的初等函数出发，一路推导到 Transformer 核心组件 Attention 和残差网络的反向传播，力求做到每一步清晰可循，每一个结果都有工程注解。
证明（导数定义）：
二项式展开中，除第一项外所有项都至少含一个因子 \(h\)，因此极限后全部消失。当 \(n\) 为任意实数时，需用对数微分法证明，但结论相同。
工程意义
权重衰减（\(L_2\) 正则化）的梯度 \(\frac{\partial}{\partial w}(\frac{\lambda}{2}w^2)=\lambda w\) 就来源于此。
无论是阅读深度学习论文、复现经典算法，还是推导新的模型，数学符号都是绕不开的“第一道门槛”。然而，不同教材、不同论文的符号习惯往往各不相同，常常让人在 \mathbf{x} 和 \boldsymbol{x}、E[X] 和 \mathbb{E}[X] 之间晕头转向。
本文整理了一份面向机器学习与深度学习的数学符号速查参考，涵盖集合、函数、线性代数、微积分、概率统计等常用领域。所有符号均采用 Obsidian 兼容的 MathJax 格式（毕竟Obsidian是我最喜欢的一款笔记软件），你可以直接复制到笔记中使用，无需额外配置。无论你是初学者还是需要快速查阅的老手，希望这份手册能成为你案头常备的“符号字典”。
最小二乘法（Least Squares Method）是一种数学优化技术，广泛用于数据拟合、回归分析等领域。最小二乘法起源于18世纪，最早由 卡尔·弗里德里希·高斯（Carl Friedrich Gauss） 和 阿德里安-马里·勒让德（Adrien-Marie Legendre） 提出。1801年，高斯在预测小行星谷神星的轨道时使用了最小二乘法，并于1809年在《天体运动论》中正式发表相关理论。 1805年，勒让德在《新方法》中首次公开描述了最小二乘法，称其为“méthode des moindres carrés”（最小平方方法）。
两人关于谁是首创者存在争议，但高斯声称他在1795年就已使用该方法。到19世纪，高斯进一步发展了最小二乘法的理论基础，结合概率论和正态分布，建立了误差分析的统计框架。
这篇文章是对 LLM 工作原理的一次梳理。现代 LLM 大多是通过把 transformer 块层层堆叠起来的，所以理解了 transformer 的内部机制，你就理解了大部分内容。
我会讲现代基于 transformer 的 LLM 内部的核心机制，但不涉及那些粘手的数学细节。别误会，数学你还是该学的，但这篇可以当作入门读物。
大多数现代 LLM 都共享同一套 transformer 家族的骨架。它们之间的差异主要来自训练数据、规模与配置选择，以及在此基础上做的后训练。读完本文，你应该能够阅读许多现代 LLM 论文或模型卡，并知道每一节在讲架构的哪个部分。
来源：Building Effective AI Agents
在过去一年里，我们与跨行业的数十支团队合作，构建基于大语言模型（LLM）的智能体。我们一致观察到：最成功的实现并没有使用复杂的框架或专门的库，而是用简单、可组合的模式来构建。
在这篇文章中，我们分享了从与客户合作以及自己构建智能体过程中学到的经验，并为开发者提供构建高效智能体的实用建议。
“智能体（Agent）”可以有多种定义。一些客户把智能体定义为完全自主的系统，能够长时间独立运行，使用各种工具完成复杂任务。另一些客户则用这一术语描述更具规约性的实现，按预定义的工作流执行。在 Anthropic，我们把所有这些不同形态都归为智能体系统（agentic systems），但在架构上对工作流（workflows）和智能体（agents）做出重要区分：
下面我们将详细探讨这两种智能体系统。在 附录 1: 智能体实践 中，我们描述了客户从这类系统中获得特别价值的两个领域。
原文：Voice AI & Voice Agents: An Illustrated Primer
LLM 很擅长对话。
如果你花过不少时间与 ChatGPT 或 Claude 进行自由形式的对话，就会直观地感受到：和 LLM 交谈相当自然，而且在很多场景中都很有用。
LLM 也很擅长把非结构化信息转换为结构化数据1。
新的语音 AI 智能体正是利用了 LLM 的这两项能力——对话，以及从非结构化数据中提取结构——来创造一种新的用户体验。
如今，语音 AI 已经被部署到广泛的商业场景中。例如：
在消费端，对话式语音（以及视频）AI 也开始进入社交应用和游戏。开发者每天都在 GitHub 和社交媒体上分享个人语音 AI 项目与实验。
在构建 AI Agent 应用时，一个常见的需求是 人在回路（Human-in-the-Loop，简写HITL）——让 Agent 在关键节点停下来，等人工审核/确认后再继续。LangGraph 提供了 interrupt 机制来实现这一功能。
本文将带你从零开始理解 interrupt，先讲清楚概念，再用代码一步步深入，最后总结踩坑经验。
interrupt 是 LangGraph 提供的一个函数，调用它可以让当前正在执行的图在某个节点 暂停（暂停整个图，不是只暂停当前节点），等待外部通过 Command(resume=...) 恢复执行。
它的典型工作流程：
用户输入 → LLM 推理 → 调用工具 → 工具内 interrupt()
↓
图暂停，等待 resume
↓
外部调用 Command(resume=data)
↓
工具继续执行 → 返回结果给 LLM → 输出
关键特性：
graph.stream() 调用都会返回Command(resume=...) 从暂停点恢复题记
“如果你无法用简单的语言讲清楚一个概念，那你就还没真正理解它。” —— 理查德·费曼
费曼技巧（Feynman Technique） 是一个非常高效的学习和理解方法，是一种通过 “教别人”来强化自己理解的学习法，适用于任何你想深入掌握的知识或技能。 它得名于著名物理学家 理查德·费曼（Richard Feynman），他以惊人的理解力和通俗解释复杂概念的能力而闻名，被称为“伟大的解释者”。
下面我用一个技术主题——《什么是 Kubernetes（K8s）》——完整示范一次 费曼技巧（Feynman Technique） 用于学习与写作流程。
我会故意展示：
如何从“自以为懂”到“真正讲明白”
如何发现知识漏洞
如何不断简化表达
如何让一个完全不懂技术的人也能理解
同时我也会指出常见错误，以及如何避免。