word2vec的输入是什么

探讨词向量模型的输入机制是理解其工作原理的基础。本文将详尽剖析其核心输入形式——文本语料，并深入解读两种经典算法（连续词袋模型与跳字模型）如何将原始词汇转化为数值向量。内容涵盖从分词、构建词汇表到生成训练样本对的全流程，并延伸讨论其输入特性对下游任务的影响。通过结合官方文献与实例，旨在为读者提供一个既专业又实用的系统性认知框架。

       在自然语言处理领域，词向量技术，尤其是由谷歌团队提出的词到向量模型，是一项具有里程碑意义的突破。它成功地将人类语言中的词汇映射到一个稠密的、低维的实数向量空间中，使得语义相近的词汇在空间中的位置也彼此靠近。要深入理解这一模型的强大能力，我们必须从其最根本的环节开始探究：它的输入究竟是什么？这并非一个简单的“文本”二字可以概括，其背后蕴含着一套从非结构化文本到结构化数值数据的精巧转换逻辑。理解这套逻辑，是掌握词向量模型乃至许多现代自然语言处理技术的基石。

       简单来说，词到向量模型最直接的输入是海量的、未经标注的原始文本语料。这些语料可以来自维基百科的条目、新闻文章、社交媒体帖子、书籍或任何其他形式的连贯文本。模型的核心假设是“一个词的语义由其上下文决定”，即分布假说。因此，它不需要任何人工标注的标签（如词性、情感倾向），仅依靠文本中词汇自然出现的共现模式来学习词的表示。这种无监督学习特性，使得它能够从几乎无限的网络文本中汲取知识，这是其得以广泛应用的关键。

一、 从原始文本到训练样本的转化之旅

       原始文本字符串并不能直接送入模型进行数学运算。它们必须经过一系列预处理步骤，转化为模型可以“消化”的数值形式。这个过程通常始于分词。对于英语等以空格分隔单词的语言，分词相对直接；而对于中文这类连续书写的语言，则需要借助分词工具将句子切分成独立的词汇序列。分词后，我们得到一个由词汇组成的列表，这是构建模型输入的第一步。

       接下来，需要构建词汇表。词汇表是一个包含所有考虑范围内唯一词汇的集合。通常，出于计算效率的考虑，我们不会使用语料中出现的每一个罕见词，而是根据词频设置一个阈值，仅保留最常见的数万至数十万个词。未被保留的罕见词会被统一替换为一个特殊的“未知词”标记。每个词汇在词汇表中都会被分配一个唯一的整数索引，这个索引将成为该词在后续计算中的身份标识。

二、 两种核心架构下的输入形态

       词到向量模型主要包含两种训练架构：连续词袋模型和跳字模型。这两种架构的学习目标相同，但输入和输出的定义恰好相反，这直接决定了训练样本的构造方式。

       在连续词袋模型中，模型的输入是目标词汇周围上下文窗口内的所有词汇。具体而言，对于一个给定的中心词（目标词），我们取其前后一定范围内（例如前后各两个词）的词汇作为上下文。输入层接收的是这些上下文词汇的独热编码向量的平均值或和。而模型的训练目标，是让输出层能够尽可能准确地预测出这个中心词本身。因此，连续词袋模型的输入是上下文词群，输出是中心词。

       与之相反，在跳字模型中，输入是单个的中心词。模型接收中心词的独热编码，其训练目标则是要预测该中心词所在上下文窗口中出现的每一个上下文词。例如，对于一个窗口大小为2的设定，模型需要同时预测中心词前两个和后两个词（共四个词）。因此，跳字模型的输入是中心词，输出是多个上下文词。

三、 独热编码：输入的初始数值化表示

       无论采用哪种架构，词汇在输入模型时，首先都会被表示为独热编码。这是一种长度等于词汇表大小的向量，向量中只有对应词汇索引的位置为1，其余所有位置均为0。例如，如果“苹果”在词汇表中的索引是100，那么它的独热编码就是一个在第100维为1，其他数万维均为0的稀疏向量。这种表示虽然简单，但维度极高且无法表达任何语义关系（任意两个词的独热编码都是正交的）。词到向量模型的核心工作，就是通过学习一个权重矩阵，将高维稀疏的独热编码映射为低维稠密的实数向量，即我们最终想要的词向量。

四、 上下文窗口：定义“邻居”的尺度

       上下文窗口的大小是一个至关重要的超参数，它定义了何为“上下文”。一个较小的窗口（例如2到5）会让模型更关注词汇之间的句法关系，学习到的词向量在词性类比任务上表现更好。而一个较大的窗口（例如10或更大）则会让模型捕捉到更多主题层面的信息，学习到的词向量可能更擅长处理文档分类任务。窗口大小的选择没有绝对标准，需要根据具体任务和语料特性进行调整。

五、 训练样本对的批量生成

       在训练过程中，模型并非一次只处理一个中心词-上下文对。为了提高计算效率，通常采用滑动窗口法遍历整个语料库，生成数以亿计的训练样本对（中心词，上下文词），然后将这些样本对分批送入模型进行训练。对于跳字模型，一个中心词会与窗口内的每一个上下文词构成一个独立的正样本对。这些海量的、由原始语料自动生成的样本对，就是模型学习语义知识的全部“养料”。

六、 负采样：对输入的巧妙扩充

       原始的跳字模型需要计算整个词汇表上的概率分布，这在词汇表很大时计算量极其昂贵。负采样技术的引入巧妙地改变了输入输出的性质。它将多分类问题转化为了一系列二分类问题。对于每个正样本对（中心词，真实上下文词），我们会随机从词汇表中采样若干个（例如5个）不与当前中心词共现的词，构成负样本对（中心词，噪声词）。此时，模型的输入仍然是中心词和一个待判别的词（可能是真实上下文词，也可能是噪声词），而训练目标简化为判断这个输入对是否来自真实的上下文。负采样极大地提升了训练速度，是词到向量模型得以实用的关键技术之一。

七、 子词信息：对输入单元的深化

       标准的词到向量模型以完整词作为输入单元，这无法处理未登录词或词形变化。后续的改进模型，如快速文本模型，引入了子词的概念。它将每个词表示为字符级n元语法的集合。例如，“苹果”可能被分解为“”等子词单元。模型的输入由此变成了这些子词向量的和。这种方法使得模型能够从词的内部结构学习，即使遇到训练时未见过的词，也能通过组合其子词向量得到一个合理的表示，显著提升了模型的泛化能力。

八、 输入语料的质量与规模效应

       输入语料的质量直接决定输出词向量的质量。专业领域的语料（如医学文献）训练出的词向量，在相关领域任务上会远优于通用语料训练的向量。语料的规模则决定了词向量表示的丰富度和稳定性。小规模语料训练的模型往往无法充分学习低频词的准确表示，而大规模、多样化的语料则能让模型捕捉到更细微的语义差别和更广泛的语义关系。谷歌发布的预训练词向量之所以强大，正是得益于其背后海量的高质量网页数据。

九、 预处理策略对输入的影响

       文本预处理是塑造模型输入的关键环节。是否将字母统一为小写，会影响“Apple”（公司）和“apple”（水果）是否被区分为两个词。是否进行词干还原或词形归并，会影响“running”、“ran”、“runs”是否被视作同一个词根“run”的变体。是否移除停用词（如“的”、“是”、“the”、“a”），会影响上下文窗口的构成，从而改变词汇的共现统计。这些预处理决策没有对错之分，只有是否适合最终的应用场景。

十、 动态窗口与加权上下文

       一些进阶研究对标准的固定窗口输入方式进行了改进。例如，使用动态窗口，即离中心词越近的上下文词权重越高，或者根据句法依存关系来选取上下文词而非简单的线性邻域。这些方法改变了输入上下文信息的构成方式，旨在让模型更聚焦于最相关、信息量最大的上下文词汇，从而学习到更精准的语义表示。

十一、 从词到短语：输入单元的扩展

       基本的词到向量模型以单词为输入单元，但语言中许多固定搭配或短语的语义并非其组成单词的简单相加（如“纽约”不等于“新”和“约”的语义之和）。因此，一种自然的扩展是在预处理阶段，利用统计方法（如点互信息）识别出语料中的常见短语或复合词，并将其作为一个独立的词汇单元加入到词汇表中。这样，“New_York”作为一个整体token输入模型，能够学习到更准确的专有名词表示。

十二、 输入与分布式表示的哲学关联

       词到向量模型的输入设计，完美体现了语言学的分布假说。模型不关心词汇本身的内在含义，只关心它在不同上下文中与哪些词为伴。每一个输入的训练样本，都是在为词汇在向量空间中的位置提供一个微小的约束。数以亿计的样本共同作用，最终将每个词“挤压”到一个能够反映其统计分布特性的坐标点上。因此，模型的输入本质上是词汇的“社会关系网络”的量化记录。

十三、 对下游任务输入的启示

       理解词到向量模型的输入，对于如何将其应用于下游任务具有直接指导意义。在文本分类、情感分析等任务中，我们通常将文档中所有词的词向量进行平均或加权平均，作为整个文档的输入表示。这种做法的有效性，直接源于词向量本身是从局部上下文共现中学习得到的，而文档表示可以看作是更大上下文范围的聚合。输入的一致性保证了表示学习的连贯性。

十四、 局限性：输入假设带来的边界

       词到向量模型的强大源于其输入假设，其局限性也根植于此。首先，它对每个词只生成一个静态的向量，无法解决一词多义问题（例如，“苹果”在不同上下文中可能指水果或公司）。其次，它严重依赖局部共现，对长距离依赖和全局文档主题信息捕捉能力有限。最后，其输入完全基于表面文本，无法融入常识或世界知识。这些局限性催生了后续如上下文词向量模型等更先进的架构。

十五、 实践中的输入构建流程

       在实际项目中，构建词到向量模型输入的典型流程如下：收集并清洗领域相关文本数据；进行分词和基础文本规范化；统计词频并构建词汇表（决定词汇表大小和未登录词处理方式）；设置上下文窗口大小、负采样数量等超参数；使用滑动窗口遍历语料，生成（中心词索引，上下文词索引）样本对；最后，将这些样本对以批量的形式组织起来，送入模型训练循环。每一步的选择都需谨慎，因为它们共同定义了模型所观察到的“世界”。

十六、 超越文本：输入概念的广义延伸

       词到向量模型的思想早已超越了自然语言处理领域。在图表示学习中，节点可以类比为“词”，其邻居节点可以类比为“上下文”，通过类似跳字模型的方法学习节点的向量表示。在推荐系统中，用户购买的商品序列可以被视为“句子”，商品被视为“词”，从而学习商品的向量表示。这些成功应用表明，只要数据对象之间存在共现或序列关系，词到向量模型的输入范式就能提供一种强大的特征学习思路。

       综上所述，词到向量模型的输入远非简单的文本字符串。它是一个经过精心设计和层层转换的、以词汇共现关系为核心的结构化数值信号。从原始语料到分词序列，从词汇表到独热编码，再到由架构定义的训练样本对，每一步都蕴含着将语言知识转化为数学可学习形式的智慧。理解这一输入链条，不仅有助于我们更有效地使用预训练的词向量，也为我们在新领域设计自己的表示学习模型提供了清晰的蓝图。输入决定视角，视角决定所能学到的世界模型，这正是词到向量模型带给我们的深刻启示。