word2vec的解释

http://blog.csdn.net/itplus/article/details/37969519

1. 前言

• word2vec是google于2013年的开源工具包，作者Tomas_Mikolov

2. 预备知识

2.1 sigmoid函数

2.2 逻辑回归

2.3 贝叶斯公式

2.4 Huffman编码

* Huffman树

• 最优二叉树

* Huffman编码

• 使用huffman树的编码是，huffman编码

3. 背景知识

3.1 统计语言模型

* 统计语言模型

• n-gram
• 决策树
• 最大熵
• HMM
• CFR
• 神经网络

3.2 n-gram模型

3.3. 神经网络模型

• 机器学习的思路：对问题建模生成目标函数，然后对目标函数优化，得到参数，利用参数来预测

4. word2vec的模型

4.1 CBOW模型和Skip-gram模型

* 基于Huffman_softmax的CBOW模型

* 基于Huffman_softmax的skip-gram模型