Word2Vec是一种自然语言处理技术，用于将单词转换为数值向量，从而捕捉单词之间的语义关系。该技术包括两种主要模型：连续词袋模型和跳跃式n-gram模型。这些模型通过训练可以有效地表示词汇之间的相似度和上下文关系，进而应用于各种NLP任务中。具体分析如下：
连续词袋模型：
CBOW模型基于一个简单而强大的想法：它使用一个单词的上下文来预测该单词本身。模型由输入层、投影层和输出层组成。在输入层，模型接收一组One-Hot编码的向量，每个向量代表一个上下文单词。这些向量被用来与权重矩阵相乘，结果是一个单一的向量，这个向量是所有上下文向量的累加或者平均值。这个综合向量随后被用来计算在输出层每个单词的概率，最大概率的单词被视为预测目标单词。
这种模型的关键在于它迫使模型关注整个上下文，而不是单个单词，以此来预测目标单词。这种方法有效地假设了上下文中的所有单词都对预测目标单词有贡献，从而捕获了单词之间的语义关系。