谈到聚类（clustering），k-means 无疑是最先想到的算法之一了。其思想异常的简单有效，以至于我之前没有深究过其中的奥秘与坑点。今天就来更深入地探究一下 k-means。 1 算法描述 本节主要参考资料[1]. 设我们有 \(n\) 个样本 \(X=\{x_1,\ldots,x_n\}\)，每个样本有 \(d\) 维，即 \(x_i\in \mathbb R^d\)。k-means

二分类 \(\to\) 多分类 sigmoid+BCE 众所周知，在二分类任务中，我们会让模型输出一个得分 \(s\in\mathbb R\)（也称 logit，见参考资料[1]），然后经由 sigmoid 函数得到一个实数值： \[ \sigma(s)=\frac{1}{1+e^{-s}}\in(0,1) \] 由于这个数在 \((0,1)\) 之间，所以我们可以将它视为属于正例的概率 \(p\

max 与 logsumexp 一个常见的误解是：\(\text{softmax}\) 是 \(\max\) 的 soft 版本，但其实稍微想一下就知道这是不对的——\(\max\) 函数的输出是一个实数，而 \(\text{softmax}\) 的输出是一个向量，一个向量怎么可能去近似一个实数呢？ 事实上，\(\max\) 函数的 soft 版本是 \(\text{logsumexp}\) 函数

论文 link：https://arxiv.org/abs/2011.15091 相关演讲：Yoshua Bengio: From System 1 to System 2 Deep Learning (NeurIPS 2019) 首先放上一个我做的论文报告的 slide 吧： 现在正文开始！ 注：本文是笔记而非原论文的翻译（但几乎也快是了），掺杂了个人叙述，如有不妥欢迎讨论。 1 深度

问题引入 一般而言，许多机器学习/深度学习的优化目标长这样： \[ \mathbb E_{z\sim \mathcal P}[f_\theta(z)]\tag{1}\label{1} \] 训练时用采样近似上述期望： \[ \mathbb E_{z\sim\mathcal P}[f_\theta(z)]\approx\frac{1}{N}\sum_{n=1}^N f_\theta(z^{(n)})

本文收集一些有用的命令

网上虽然能搜到很多讲解 gitignore 模式匹配格式的博客，但它们大都不全或者不太清楚，要彻底搞明白还得直接看官方文档啊！ PATTERN FORMAT 翻译自：https://git-scm.com/docs/gitignore PATTERN FORMAT 一节。 空行不匹配任何文件，因此可以用空行增加可读性。 以 # 开头的一行是注释，用 \ 进行转义。 末尾的空格将被忽略，除非在

基本都参考自 Git-book。 什么是版本控制 本地版本控制系统：采用某种简单的数据库来记录文件的历次更新差异。 缺点：无法让不同系统上的开发者协同工作。 集中化的版本控制系统：一个单一的集中管理的服务器，保存所有文件的修订版本，而协同工作的人们都通过客户端连到这台服务器，取出最新的文件或者提交更新。 优点：每个人都可以在一定程度上看到项目中的其他人正在做些什么。 而管理员也可以轻松掌控

wait https://www.ibm.com/docs/en/ztpf/2020?topic=apis-waitwait-status-information-from-child-process 12#include <sys/wait.h>int wait(int *stat_loc); 等待任一子进程退出，如果正常获取到了子进程的退出信息（存入 stat_loc 指向的地

Lab: mmap https://pdos.csail.mit.edu/6.S081/2020/labs/mmap.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/mmap

Lab: file system https://pdos.csail.mit.edu/6.S081/2020/labs/fs.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/fs

Lab: locks https://pdos.csail.mit.edu/6.S081/2020/labs/lock.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/lock

Lab: Multithreading https://pdos.csail.mit.edu/6.S081/2020/labs/thread.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/thread

Lab: Copy-on-Write Fork for xv6 https://pdos.csail.mit.edu/6.S081/2020/labs/cow.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/cow

Lab: xv6 lazy page allocation https://pdos.csail.mit.edu/6.S081/2020/labs/lazy.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/lazy

Lab: traps https://pdos.csail.mit.edu/6.S081/2020/labs/traps.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/traps

Lab: page tables https://pdos.csail.mit.edu/6.S081/2020/labs/pgtbl.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/pgtbl

Lab: system calls https://pdos.csail.mit.edu/6.S081/2020/labs/syscall.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/syscall

Lab: Xv6 and Unix utilities https://pdos.csail.mit.edu/6.S081/2020/labs/util.html 代码：https://github.com/xyfJASON/xv6-mit-6.S081-2020/tree/util