隐性语义索引(LSI)

网友投稿 746 2022-05-29

隐性语义索引(LSI)

1.Introduction

在向量模型中,将查询和文档均表示成同一空间下的向量,可以使用余弦相似度进行评分计算。但是,向量空间表示方法没有能力处理自然语言理解中的两个经典问题:一词多义(polysemy)和一义多词(synonymy)。使用LSI可以利用词项的共现情况,将词和文档映射到潜在语义空间,从而去除了原始向量空间中的一些“噪音”,提高了信息检索的精确度。

2.SVD分解

文档集可以转换成词项-文档矩阵,每一行代表一个词项,每一列代表一个文档,矩阵元素(t,d)代表词项t在文档d中出现的次数。将词项-文档矩

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:第九节:SpringBoot在线文档Swagger2入门
下一篇:ThreadLocal之我所见
相关文章