怎样评价基于共现矩阵的Word Embedding的降维维度和窗口大小的好坏

只有些直觉上的解释,比如每个维度可能对应了语义上的某个factor。维度太高,参数多,容易overfit,可能词向量抓住了一些词跟词的noisy correlations。如果维度太低,那能抓住的factor就太少了,容易underfit。
【怎样评价基于共现矩阵的Word Embedding的降维维度和窗口大小的好坏】 窗口大小是完全类似的。窗口大了,因为巧合出现在同一上下文的词会变多。窗口小了,许多本来相关的词,因为离的远,没包括在上下文之内。


    推荐阅读