机器不学习:关于word2vec你想知道的一切，纯手工推导

一个寒假没有学习，回来之后发现word2vec的很多细节都忘记了……原来脑子真的跟铁一样，长期不用会锈的！于是回来这两天，重读word2vec相关论文，把各个细节再次推导一遍。正好刚刚入手iPad，决定试试apple pencil怎么样，结果真是“不用错过一个亿，一用解放生产力”啊！我写笔记，一定要生动，活泼，自由，一定要有丰富的配图，俗话说“没图说个xx”。好了，废话太多了！

今天正值元宵佳节，谨以此精美的手绘笔记献给大家，祝大家元宵节快乐！

本文主要内容：

一、Word2vec的训练方法和推导过程

• skip-gram前向传播过程梯度下降，参数更新过程从“一对一”到“一对多”

二、原模型的问题和训练过程的优化

Hierarchical SoftmaxNegative Sampling

关于word2vec还有什么问题呢？欢迎来评论区讨论！

转自：https://zhuanlan.zhihu.com/p/57084385 这个小作者确实不错，点赞