cbow

1. CBOW的网络图

* 样本

• 样本(Context(w),w);Context(w)由w的前后各c个词构成

* 输入层

* 投影层

* 输出层

* 和NNLM的区别

* 梯度计算

* Hierarchical——softmax

* 随机梯度下降算法

2. CBOW的Negative sampling模型

• 提高训练速度和改善词向量的质量
• 使用随机负采样