故事尾音

图片来自网站

• 频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计)
• 贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP，最大后验估计)

• 生成模型可以产生数据，判别模型只能根据数据做判断。
• 生成模型的指导思想是贝叶斯，判别模型的指导思想是频率学派
  阅读全文 »

首先要明确的一点是朴素贝叶斯属于生成式模型，指导思想是贝叶斯公式。

文本分类

假设现在有一些评论数据，需要识别出这篇文本属于正向评论还是负面评论，也就是对文本进行分类。用数学语言描述就是：
假设已经有分好类的 N 篇文档：(d1,c1)、(d2,c2)、(d3,c3)……(dn,cn)，di 表示第 i 篇文档，ci 表示第 i 个类别。目标是：寻找一个分类器，这个分类器能够：当丢给它一篇新文档 d，它就输出 d（最有可能）属于哪个类别 c。

秋招算法复习

复习内容

算法

1、排序算法：快速排序、归并排序、计数排序
2、搜索算法：回溯、递归、剪枝
3、图论：最短路径、最小生成树、网络流建模
4、动态规划：背包问题、最长子序列、计数问题
5、基础技巧：分治、倍增、二分法、贪心算法

数据结构

1、数组和链表
2、栈与队列
3、树和图
4、哈希表
5、大 / 小跟堆，可并堆
6、字符串：字典树、后缀树

核心思想：基于距离的模板匹配
KNN 是一种判别模型，即支持分类问题，也支持回归问题，是一种非线性模型，天然支持多分类，而且没有训练过程。

香农（1916 年 4 月 30 日－2001 年 2 月 26 日），美国数学家、电子工程师和密码学家，被誉为信息论的创始人。1948 年，香农发表了划时代的论文 —— 通信的数学原理，在这部著作中，他提出了比特数据，证明了信息是可以被量化的，并阐述了如何在保证准确率的前提下用数字编码对信息进行压缩和传输。

今天看到一个网站，一个 AI，看了一下是世纪佳缘做的。说实话，做的相当没有水平，完全是照抄 RASA 的，我甚至觉得我也可以做一个更好的出来，甚至由此萌发了想创业的想法。

今天上午 10 点突然接到面试的电话，面完之后感觉不怎么好，还是总结一下吧。

Pool 的作用

池化层是一个采样的过程。

Word2Vec 的损失函数

ElMo 的损失函数

预训练部分

在 EMLo 中，他们使用的是一个双向的 LSTM 语言模型，由一个前向和一个后向语言
模型构成，目标函数就是取这两个方向语言模型的最大似然。
前向部分

$$p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{1}, t_{2}, \ldots, t_{k-1}\right)$$

反向部分

$$p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{k+1}, t_{k+2}, \ldots, t_{N}\right)$$

合起来部分如下，也就是损失函数

$$\begin{array}{l}{\sum_{k=1}^{N}\left(\log p\left(t_{k} | t_{1}, \ldots, t_{k-1} ; \Theta_{x}, \vec{\Theta}_{LSTM}, \Theta_{s}\right)\right.} \\ {\quad+\log p\left(t_{k} | t_{k+1}, \ldots, t_{N} ; \Theta_{x}, \widetilde{\Theta}_{LSTM}, \Theta_{s}\right) )}\end{array}$$

微调部分（用于下游任务）

在进行有监督的 NLP 任务时，可以将 ELMo 直接当做特征拼接到具体任务模型的
词向量输入，具体来说就是把这个双向语言模型的每一中间层进行一个求和得到动态的词向量表示。
提取词向量的过程如下：对于第 K 个 Token, 使用 L 层的双向 ELMo 可以得到的表示如下：

$$\begin{aligned} R_{k} &=\left\{\mathbf{x}_{k}^{L M}, \overrightarrow{\mathbf{h}}_{k, j}^{L M}, \widetilde{\mathbf{h}}_{k, j}^{L M} | j=1, \ldots, L\right\} \\ &=\left\{\mathbf{h}_{k, j}^{L M} | j=0, \ldots, L\right\} \end{aligned}$$

对于下游任务来说，得到表示就是各层双向 LSTM 的表示的加权和

$$\mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{\text {task}}=E\left(R_{k} ; \Theta^{\text {task}}\right)=\gamma^{\text {task}} \sum_{j=0}^{L} s_{j}^{\text {task}} \mathbf{h}_{k, j}^{L M}$$

快速排序的复杂度计算

论文 Network In Network(Min Lin, ICLR2014).

论文的主要贡献

1. 采用 mlpcon 的结构来代替 traditional 卷积层
2. 采用 global average pooling 层代替卷积神经网络最后的全连接层