【摘要】在信息化时代的今天,随着存储容量的翻倍增长和网络通讯速度的不断提高,海量文本信息的传输和保存已变得异乎平常。很显然的是传统的信息获取技术早已跟不上时代的步伐,如何在信息高速膨胀的文本数据库中及时地检索到我们想要的文本信息问题显得日益突出。文本挖掘也正是为解决这一需求而在近些年得到了迅猛的发展。文本挖掘涉及文本聚类、文本分类、信息提取等多个方面,其中文本分类是当前数据挖掘研究领域的热点内容之 […]

【摘要】在新词识别领域,研究者的研究阶段处于有效的新词特征挖掘和新词检测模型选择。现有的新词特征主要包括语言知识特征和统计特征。常用的语言知识特征有前后缀、串长,统计特征有词频、互信息、左熵、右熵、色子矩阵(Dice)。新词,为何新?“新”可以跟时间对比,在某个时间点之前新词从未出现过,这个时间点后新词出现了,并被人们广泛使用,但新词出现的这个时间点很模糊,无法具体界定。针对新词时间分布特性难以描 […]