主成分分析 主成分分析 (PCA) 是一种降维方法，可以从两种角度推导——最大化投影方差与最小化重构误差。 首先引入记号。设数据集为 \(\{\mathbf x_n\}_{n=1}^N\)，其中 \(\mathbf x_n\in\mathbb R^d\)，也可以记作矩阵形式： \[ \mathbf X=\begin{bmatrix}\mathbf x_1^T\\\vdots\\\mathbf x_

求概率密度的微元法 若随机变量 \(X\) 的 PDF \(f(x)\) 在 \(x\) 处连续，则： \[ f(x)=\lim_{h\to 0}\frac{P(x< X\leq x+h)}{h} \] 或写作： \[ P(x<X\leq x+h)=f(x)h+o(h) \] 若随机向量 \((X_1,\ldots,X_n)\) 的 PDF \(f(x_1,\ldots,x_n)\)

\[ \newcommand{\coloneqq}{\mathrel{\mathrel{\vcenter{:}}=}} \] MMD Maximum Mean Discrepancy (MMD)[1][2] 是一个衡量两个分布差异的指标。具体而言，设 \(p,q\) 是 \(\mathcal X\) 上的概率分布，给定从 \(p\) 采样出的独立同分布样本 \(X=\{x_1,\ldots,x_m

网站结构 123456xyfjason.github.io # 引导页├── xyfjason.github.io/homepage # 学术主页├── xyfjason.github.io/notes # 笔记├── xyfjason.github.io/blog-main # 主博客├── xyfjason.github.io/bl

连续归一化流 想象 \(\mathbb R^d\) 空间中有一系列粒子，在 \(t=0\) 时服从分布 \(p_0\)，随时间流逝粒子在空间中流动，直至 \(t=1\) 时形成分布 \(p_1\). 于是这样的流动过程形成了从分布 \(p_0\) 到分布 \(p_1\) 的一个转换。如果我们能够为上述流体运动过程建立起模型，并控制 \(p_0\) 为某简单易采样分布而 \(p_1\) 服从数据分布

在 Score-Based Generative Models 一文中，我们用到了 Langevin dynamics 进行采样，但没有解释其原理。另外，在 Elucidated Diffusion Models 一文中，我们提到常用的扩散 SDE 和 PF ODE 其实可以推广为一个由 PF ODE 与 Langevin diffusion SDE 组合而成的广义 SDE. 由此可见，Lange

Lipschitz 连续性 实值函数情形 定义：设有函数 \(f:D\subset\mathbb R^n\to\mathbb R\)，若存在常数 \(K\) 使得： \[ \vert f(\mathbf x)-f(\mathbf y)\vert\leq K\Vert \mathbf x- \mathbf y\Vert,\quad\forall\ \mathbf x, \mathbf y\in D

简介 众所周知，Transformer 中的注意力机制并不区分各个 token 的顺序，可以认为是对 token 集合进行操作，因此在需要明确 token 顺序的场景下，我们必须人为地在 token 中注入位置信息，这就是位置编码 (positional encoding)。理想的位置编码应该具有如下性质： 唯一性：每个位置都配备唯一的编码； 相对性：两个位置编码之间存在只与相对位置有关（与绝对

DPM-Solver 从扩散 ODE 入手 相比扩散 SDE，由于扩散 ODE 没有随机性，更适合采用大步长以加速采样，因此本文作者只考虑扩散 ODE： \[ \mathrm d\mathbf x_t=\left[f(t)\mathbf x_t-\frac{1}{2}g^2(t)\nabla_{\mathbf x}\log q(\mathbf x_t)\right]\mathrm dt \] 代入

Introduction 尽管扩散模型在生成质量、似然估计和训练稳定性上表现出卓越的性能，但其最大的缺点就是采样耗时。为此，许多采样器被提出以加速采样过程，例如 DDIM, Analytic-DPM, PNDM, DPM-Solver 等等，它们着眼于更精确地求解扩散 ODE，例如采用高阶的求解器并充分利用扩散 ODE 的特殊结构。然而，受制于模型本身的误差，此类 training-free 的方

Introduction 扩散模型虽然效果很好，但最大的缺点就是迭代式的生成效率太低。为了解决这个问题，宋飏等人在 Probability Flow ODE 的基础上建立了 consistency models，通过将 ODE 轨迹上的任何点（如 \(\mathbf x_t,\mathbf x_{t'},\mathbf x_T\)）都映射到 ODE 的端点 \(\mathbf x_0\)，

\[ \newcommand{\coloneqq}{\mathrel{\mathrel{\vcenter{:}}=}} \] 引言 在学习 SVM 时，我们了解到了解决线性不可分问题的一种常用技巧——核方法。核方法的基本思想是，对于数据空间中线性不可分的样本，将它们映射到更高维度（甚至无穷维）的特征空间后就可以变成线性可分的。进一步地，我们引入了核函数来实现高维特征空间中的内积运算，而不需要先将数

Moment Matching 设 \(p(\mathbf z)\) 是一个给定的分布，我们希望用一个指数族分布 \(q(\mathbf z)\) 去近似 \(p(\mathbf z)\)： \[ q(\mathbf z)=h(\mathbf z)g(\boldsymbol\eta)\exp\left\{\boldsymbol\eta^T\mathbf u(\mathbf z)\right\} \

基础采样方法 在机器学习中，我们常常遇到这样的问题：设 \(X\) 为一随机变量，其 PDF 为 \(p(x)\)；又设 \(f\) 为关于 \(X\) 的函数，考虑如下期望： \[ \mathbb E[f(X)]=\int f(x)p(x)\mathrm dx \] 当 \(p(x)\) 或 \(f(x)\) 比较复杂时，上述积分往往是无法计算的。蒙特卡洛采样的思想是用随机样本近似期望： \[

封面图片来自链接。 Brief Introduction 生成模型的目标是构建参数化模型 \(p_\theta(x)\) 近似真实数据分布 \(p_\text{data}(x)\)，达成该目标的一种思路就是最大化训练样本的对数似然： \[ \max_\theta\;\mathbb E_{p_\text{data}(x)}[\log p_\theta(x)] \] 然而，直接计算对数似然是十分困

近似推断 在许多机器学习问题中，一个核心任务是给定观测数据 \(x\)，估计隐变量 \(z\) 的后验分布 \(p(z\vert x)\)，或者估计某函数 \(f(z)\) 关于后验分布的期望 \(\mathbb E_{p(z\vert x)}[f(z)]\). 这样的估计过程就是所谓的推断 (inference) 问题。例如，在 EM 算法中我们就需要估计完整数据的对数似然关于后验分布的期望。

在机器学习研究中，我们有时会遇到以“一个集合的向量”而非“一个向量”为基本元素的问题，为此需要定义这些向量集合之间的距离。特别地，如果允许我们直接考虑每个向量集合张成的线性子空间，那么问题就变成了如何度量两个线性子空间之间的距离。 Grassmann Manifold 用数学语言描述，设 \(a_1,\ldots,a_k\in\mathbb R^n\) 和 \(b_1,\ldots,b_k\in\

拉格朗日函数 考虑如下带约束的优化问题： \[ \begin{align} \min&\quad f(\mathbf x)\\ \text{s.t.}&\quad g_i(\mathbf x)\leq 0,\quad i=1,\ldots,m\\ &\quad h_i(\mathbf x)=0,\quad i=1,\ldots,k \end{align} \] 我们可以将其

Introduction 扩散模型的火热吸引了众多研究者，相关工作百花齐放，但这样繁荣的景象也就带来了一个问题——每篇论文都有一套自己的体系，缺乏一个统一的框架；并且扩散模型的各个组件相互耦合，不便于单独研究。终于，NVIDIA 的研究人员在论文[1]中详细阐述了扩散模型的设计空间。其实扩散模型无非由以下几部分构成： Formulation：扩散和去噪过程可以用 SDE/ODE 描述，方程的系数

矩母函数 矩母函数的定义 设 \(X\) 为一个随机变量，其矩母函数（Moment-Generating Function, MGF）定义为： \[ M_X(t)=\mathbb E[e^{tX}]=\begin{cases} \displaystyle\sum_xe^{tx}p_{\small X}(x)&\text{discrete}\\ \displaystyle\int_{-\in