灵玖中科软件(北京)有限公司

　　随着计算机的普及和Internet的蓬勃发展,中文信息处理技术实实在在的改变了人们的生活。在我国,中文信息处理已经不是什么新鲜事物了,随着科学技术的发展,中文信息处理技术已经深入到了社会生活的各个方面。所谓“中文信息处理”,指的是用计算机对汉语(包括口语和书面语)进行转换、传输、存贮、分析等加工的科学。

　　中文信息处理是自然语言信息处理的一个分支,是一门与计算机科学、语言学、信息学、声学等多种学科相关联的综合性学科。中文信息处理指的是利用计算机对汉语书面语形式和口语形式这两种信息进行加工,加工的结果形成各种信息处理系统,实现中文的信息检索、语音识别、机器翻译等。简单的说,中文信息处理就是解决汉字和汉语输入和输出电子计算机的问题的一门学科。

　　现在尽管汉语分词取得了重大进展和突破,但仍然存在着大量的问题。比如汉语无词的明显分隔标记,词的定义、词与词组划界标准与形式语法的缺乏等特点,使得要自由进行汉语自动分词,将会遇到一些困难与问题。

1、首先,就切分而言,中文原本没有词的概念,没有一个统一的词的确切定义。中文构词方法的多样性特点使得分词十分困难。汉字造词可以是字,也可以是词甚至词组。造句的方式有以字造词,以词造词。如果没有语法、语义知识或语境了解的帮助就很难对有些句子进行正确切分。

2.其次,汉语迄今为止仍未有一部公认的、确切完备的并适合于计算机处理的语法规则。汉语词法的无标准性,句法的复杂性,语法的模糊性与语义的多样性,如汉语中大量存在一词多义,多词一义,词性变化,词义转借等现象,使得研究中文信息处理的学者至今仍难以对它进行完备的总结。这也为汉语分词制造了困难。

3.再次,现有的分词方法基本上都是基于统计和词典的分词方法,它们都必须在分词速度和精度之间做出选择。要提高速度,就要适当放弃精度的追求,缩减词典,减少匹配次数。而要提高切分精度,就得舍弃速度,无限扩充词典,匹配次数也会无限增加。因此,切分效率不高也是一大问题。

4.后,基于统计的分词方法虽然能够有效地自动排除歧义,但也不能百分百的消除歧义。因为汉语由于构词语素大多是不定位语素,又有相当数量的自由语素,汉语词理解的多义性、复杂性,再加上词与词之间没有空格隔开,没有任何区分标志,这就造成了切分中的多分字段,因而歧义现象是分词过程中不可避免的现象。

　　北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。

NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块,平台提供了客户端工具,云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中,可兼容Windows,Linux, Android,Maemo5, FreeBSD等不同操作系统平台,可以供Java,Python,C,C等各类开发语言使用。

　　随着信息技术在我国社会生活各个领域应用的深入,中文信息处理正在成为人们工作和生活中不可或缺的手段,中文信息处理将具有更加广阔的市场。这将促使中文信息处理方面的高效中文搜索引擎、实时机器翻译、大规模中文文本处理、跨平台中西文自动识别转换、泛中文语义理解、中文电子商务等技术实现重大突破。中文信息处理已成为我国信息技术研究、发展、应用和产业的基础,在互联网日益成长的今天,中文信息处理技术将会更加成熟并创新。