Vector-Quantization
VQ-VAE VQ-VAE[1] 是 Google DeepMind 在 2017 年提出的一个类 VAE 生成模型，相比普通的 VAE，它有两点不同： 隐空间是离散的，通过 VQ (Vector Quantization) 操作实现； 先验分布是学习出来的。 为什么要用离散的隐空间呢？首先，离散的表征更符合一些模态的自然属性，比如语言、语音，而图像也能用语言描述；其次，离散表征更适合推理、规
扩散模型逆向方差的选取
\[ \newcommand{\x}{\mathbf x} \newcommand{\calN}{\mathcal N} \newcommand{\E}{\mathbb E} \] DDPM: 人为选取方差 首先做一个简要回顾。DDPM 定义前向马尔可夫过程为： \[ \begin{align} &q(\x_{1:T}\vert\x_0)=q(\x_0)\prod_{t=1}^T q(\x
扩散模型的条件引导生成
\[ \newcommand{\x}{\mathbf x} \newcommand{\calN}{\mathcal N} \newcommand{\coloneqq}{\mathrel{\mathrel{\vcenter{:}}=}} \] Preface 我们在之前的文章中关注的都是无条件生成，生成结果不受我们控制，特别是以 DDPM 为代表的采样过程本身就带有随机性的模型，即使用同样的初始变量
不止去噪！任意退化模式上的扩散模型
\[ \newcommand{\x}{\mathbf x} \newcommand{\E}{\mathbb E} \newcommand{\calN}{\mathcal N} \newcommand{\I}{\mathbf I} \newcommand{\coloneqq}{\mathrel{\mathrel{\vcenter{:}}=}} \] Cold Diffusion 站在 machine
DDIM与加速采样
\[ \newcommand{\x}{\mathbf x} \newcommand{\I}{\mathbf I} \newcommand{\calN}{\mathcal N} \newcommand{\E}{\mathbb E} \] DDPM Recap 前向过程 设有一列 noise schedule：\(\{\beta_t\}_{t=1}^T\)，记 \(\alpha_t=1-\beta_t
搭建个人深度学习工作站（环境篇）
前言 硬件配置 主板：华硕 TUF GAMING B560M-PLUS WIFI CPU：Intel i7-11700 @ 2.50GHz 8核16线程 内存：英睿达 美光32GB(16Gx2)套装 DDR4 3600MHz GPU：NVIDIA RTX 3080Ti 硬盘： Samsung SSD 980 1TB x 2 WDC WD20EZBX-00A 2TB 电源：长城 猎金部落 额
搭建个人深度学习工作站（操作系统篇）
说明：由于是个人使用，我安装的是 Windows + Ubuntu Server 双系统。用 Ubuntu Server 训练，用 Windows 摸鱼。 硬件配置 主板：华硕 TUF GAMING B560M-PLUS WIFI CPU：Intel i7-11700 @ 2.50GHz 8核16线程 内存：英睿达 美光32GB(16Gx2)套装
扩散模型的SDE与ODE描述
\[ \newcommand{\x}{\mathbf x} \newcommand{\z}{\mathbf z} \newcommand{\E}{\mathbb E} \newcommand{\f}{\mathbf f} \newcommand{\w}{\mathbf w} \newcommand{\calN}{\mathcal N} \newcommand{\pdata}{p_\text{dat
Score-Based Generative Models
\[ \newcommand{\E}{\mathbb E} \newcommand{\pdata}{p_\text{data}} \newcommand{\x}{\mathbf x} \newcommand{\v}{\mathbf v} \newcommand{\R}{\mathbb R} \newcommand{\T}{\mathsf T} \] Brief Introduction 在从VAE
从VAE到DDPM
\[ \newcommand{\E}{\mathbb E} \newcommand{\KL}{\mathrm{KL}} \newcommand{\calN}{\mathcal N} \newcommand{\x}{\mathbf x} \newcommand{\z}{\mathbf z} \newcommand{\coloneqq}{\mathrel{\mathrel{\vcenter{:}}=}
Variational Autoencoder
核心思想 VAE 是一种基于隐变量的生成模型，它将隐变量 \(\mathbf z\in\mathbb R^d\)（一般采自正态分布）映射到 \(\mathbf x\in\mathbb R^D\)，并希望 \(\mathbf x\) 的分布尽可能接近真实数据的分布。这个映射不是确定性的，可以写作概率分布 \(p_\theta(\mathbf x\vert \mathbf z)\)，其中 \(\the
Score Function Estimator and Reparameterization Trick
The Problem 许多机器学习/深度学习问题的优化目标为如下形式： \[ \mathbb E_{z\sim \mathcal P}[f_\theta(z)]\tag{1}\label{1} \] 训练时用蒙特卡洛采样近似期望： \[ \mathbb E_{z\sim\mathcal P}[f_\theta(z)]\approx\frac{1}{N}\sum_{n=1}^N f_\theta(
k-means算法及其推广
谈到聚类，k-means 无疑是最先想到的算法之一了。其思想异常的简单有效，但隐藏着许多值得深入探究的奥秘。 k-means 理论推导 设有样本集 \(\{\mathbf x_1,\ldots,\mathbf x_N\}\)，其中 \(\mathbf x_n\in \mathbb R^d\)；又设 \(C:\mathbb N\to\mathbb N\) 表示对样本集的一个划分，\(C(n)=k\)
EM Algorithm
EM 算法是极大似然法的推广，用于解决存在隐变量（hidden variables / latent factors）的参数估计问题。 问题描述 极大似然法是最常用的参数估计方法之一。设观测样本集为 \(\{\mathbf x_n\}_{n=1}^N\)，模型参数为 \(\theta\)，则对数似然为： \[ L(\theta)=\log\prod_{n=1}^Np_\theta(\mathbf
PyTorch单机多卡从入门到入土（坑点记录）
在 Vision 里用上 Transformer 之后，单卡训练连两位数的 batchsize 都开不了，必须得学学单机多卡的使用了。 PyTorch 中，多卡训练有两种方案： DataParallel：只支持单机多卡，代码很方便，只需要添加一行，但是效率比较低，不推荐使用 DistributedDataParallel：支持多机多卡，效率高，但是要折腾一下代码 基于性能考虑，一般我们会选择第
各种函数的hard与soft形式
max 与 logsumexp 一个常见的误解是：\(\text{softmax}\) 是 \(\max\) 的 soft 版本，但其实稍微想一下就知道这是不对的——\(\max\) 函数的输出是一个实数，而 \(\text{softmax}\) 的输出是一个向量，一个向量怎么可能去近似一个实数呢？ 事实上，\(\max\) 函数的 soft 版本是 \(\text{logsumexp}\) 函数
Inductive Biases for Deep Learning of Higher-Level Cognition
论文 link：https://arxiv.org/abs/2011.15091 相关演讲：Yoshua Bengio: From System 1 to System 2 Deep Learning (NeurIPS 2019) 首先放上一个我做的论文报告的 slide 吧： 现在正文开始！ 注：本文是笔记而非原论文的翻译（但几乎也快是了），掺杂了个人叙述，如有不妥欢迎讨论。 1 深度
