【摘要】词法分析是自然语言处理中最基础、最关键的步骤。在中文信息处理领域，词法分析的一般做法是通过分词给词和短语划定边界，从而使汉语的后续处理过程跟英语等西方语言基本一致。然而，汉语中词与短语之间的界限比较模糊，许多情况下，某些语言单位就连语言学家也很难确定是语素、词还是短语。这导致实践中人工标注的分词语料存在严重的不一致性，而这种不一致性无疑会制约汉语的后续处理工作。分词语料的不一致性不仅体现在 […]