KaTeX 数学公式大全
编者按:KaTeX 是一款基于 Donald Knuth 的 TeX 系统构建的高性能网页数学排版引擎,能够为数学公式与物理符号提供细致而快速的渲染效果。笔者日常深度使用 Obsidian,该笔记软件原生支持 KaTeX,故特此翻译并整理本文,旨在系统介绍 KaTeX 所支持的 TeX 语法。本文译自官方函数列表文档。
这是 KaTeX 支持的 TeX 函数列表,按逻辑分组排序。
编者按:KaTeX 是一款基于 Donald Knuth 的 TeX 系统构建的高性能网页数学排版引擎,能够为数学公式与物理符号提供细致而快速的渲染效果。笔者日常深度使用 Obsidian,该笔记软件原生支持 KaTeX,故特此翻译并整理本文,旨在系统介绍 KaTeX 所支持的 TeX 语法。本文译自官方函数列表文档。
这是 KaTeX 支持的 TeX 函数列表,按逻辑分组排序。
本文将从最基础的初等函数出发,一路推导到 Transformer 核心组件 Attention 和残差网络的反向传播,力求做到每一步清晰可循,每一个结果都有工程注解。
证明(导数定义):
二项式展开中,除第一项外所有项都至少含一个因子 \(h\),因此极限后全部消失。当 \(n\) 为任意实数时,需用对数微分法证明,但结论相同。
工程意义
权重衰减(\(L_2\) 正则化)的梯度 \(\frac{\partial}{\partial w}(\frac{\lambda}{2}w^2)=\lambda w\) 就来源于此。
无论是阅读深度学习论文、复现经典算法,还是推导新的模型,数学符号都是绕不开的“第一道门槛”。然而,不同教材、不同论文的符号习惯往往各不相同,常常让人在 \mathbf{x} 和 \boldsymbol{x}、E[X] 和 \mathbb{E}[X] 之间晕头转向。
本文整理了一份面向机器学习与深度学习的数学符号速查参考,涵盖集合、函数、线性代数、微积分、概率统计等常用领域。所有符号均采用 Obsidian 兼容的 MathJax 格式(毕竟Obsidian是我最喜欢的一款笔记软件),你可以直接复制到笔记中使用,无需额外配置。无论你是初学者还是需要快速查阅的老手,希望这份手册能成为你案头常备的“符号字典”。
最小二乘法(Least Squares Method)是一种数学优化技术,广泛用于数据拟合、回归分析等领域。最小二乘法起源于18世纪,最早由 卡尔·弗里德里希·高斯(Carl Friedrich Gauss) 和 阿德里安-马里·勒让德(Adrien-Marie Legendre) 提出。1801年,高斯在预测小行星谷神星的轨道时使用了最小二乘法,并于1809年在《天体运动论》中正式发表相关理论。 1805年,勒让德在《新方法》中首次公开描述了最小二乘法,称其为“méthode des moindres carrés”(最小平方方法)。
两人关于谁是首创者存在争议,但高斯声称他在1795年就已使用该方法。到19世纪,高斯进一步发展了最小二乘法的理论基础,结合概率论和正态分布,建立了误差分析的统计框架。
这篇文章是对 LLM 工作原理的一次梳理。现代 LLM 大多是通过把 transformer 块层层堆叠起来的,所以理解了 transformer 的内部机制,你就理解了大部分内容。
我会讲现代基于 transformer 的 LLM 内部的核心机制,但不涉及那些粘手的数学细节。别误会,数学你还是该学的,但这篇可以当作入门读物。
大多数现代 LLM 都共享同一套 transformer 家族的骨架。它们之间的差异主要来自训练数据、规模与配置选择,以及在此基础上做的后训练。读完本文,你应该能够阅读许多现代 LLM 论文或模型卡,并知道每一节在讲架构的哪个部分。
来源:Building Effective AI Agents
在过去一年里,我们与跨行业的数十支团队合作,构建基于大语言模型(LLM)的智能体。我们一致观察到:最成功的实现并没有使用复杂的框架或专门的库,而是用简单、可组合的模式来构建。
在这篇文章中,我们分享了从与客户合作以及自己构建智能体过程中学到的经验,并为开发者提供构建高效智能体的实用建议。
“智能体(Agent)”可以有多种定义。一些客户把智能体定义为完全自主的系统,能够长时间独立运行,使用各种工具完成复杂任务。另一些客户则用这一术语描述更具规约性的实现,按预定义的工作流执行。在 Anthropic,我们把所有这些不同形态都归为智能体系统(agentic systems),但在架构上对工作流(workflows)和智能体(agents)做出重要区分:
下面我们将详细探讨这两种智能体系统。在 附录 1: 智能体实践 中,我们描述了客户从这类系统中获得特别价值的两个领域。
原文:Voice AI & Voice Agents: An Illustrated Primer
LLM 很擅长对话。
如果你花过不少时间与 ChatGPT 或 Claude 进行自由形式的对话,就会直观地感受到:和 LLM 交谈相当自然,而且在很多场景中都很有用。
LLM 也很擅长把非结构化信息转换为结构化数据1。
新的语音 AI 智能体正是利用了 LLM 的这两项能力——对话,以及从非结构化数据中提取结构——来创造一种新的用户体验。
如今,语音 AI 已经被部署到广泛的商业场景中。例如:
在消费端,对话式语音(以及视频)AI 也开始进入社交应用和游戏。开发者每天都在 GitHub 和社交媒体上分享个人语音 AI 项目与实验。
在构建 AI Agent 应用时,一个常见的需求是 人在回路(Human-in-the-Loop,简写HITL)——让 Agent 在关键节点停下来,等人工审核/确认后再继续。LangGraph 提供了 interrupt 机制来实现这一功能。
本文将带你从零开始理解 interrupt,先讲清楚概念,再用代码一步步深入,最后总结踩坑经验。
interrupt 是 LangGraph 提供的一个函数,调用它可以让当前正在执行的图在某个节点 暂停(暂停整个图,不是只暂停当前节点),等待外部通过 Command(resume=...) 恢复执行。
它的典型工作流程:
用户输入 → LLM 推理 → 调用工具 → 工具内 interrupt()
↓
图暂停,等待 resume
↓
外部调用 Command(resume=data)
↓
工具继续执行 → 返回结果给 LLM → 输出
关键特性:
graph.stream() 调用都会返回Command(resume=...) 从暂停点恢复题记
“如果你无法用简单的语言讲清楚一个概念,那你就还没真正理解它。” —— 理查德·费曼
费曼技巧(Feynman Technique) 是一个非常高效的学习和理解方法,是一种通过 “教别人”来强化自己理解的学习法,适用于任何你想深入掌握的知识或技能。 它得名于著名物理学家 理查德·费曼(Richard Feynman),他以惊人的理解力和通俗解释复杂概念的能力而闻名,被称为“伟大的解释者”。
下面我用一个技术主题——《什么是 Kubernetes(K8s)》——完整示范一次 费曼技巧(Feynman Technique) 用于学习与写作流程。
我会故意展示:
如何从“自以为懂”到“真正讲明白”
如何发现知识漏洞
如何不断简化表达
如何让一个完全不懂技术的人也能理解
同时我也会指出常见错误,以及如何避免。
在理解 LangGraph 之前,我们需要回顾 LLM 应用编排框架的演进历程。这个演进本质上是 "如何让 LLM 应用的控制流从线性走向复杂" 的过程。
第一阶段:Prompt 模板 + API 调用(2022 年)
最初的 LLM 应用极其简单——写一个 prompt 模板,调用 OpenAI API,获取结果。这适合单轮问答,但无法处理多步推理。
# 2022年的典型LLM应用
import openai
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "翻译:Hello World"}]
)