从沃森机器人看自然语言处理
2012-12-03 14:44阅读：
从沃森机器人看自然语言处理
一、
问题背景
2011年2月14日到16日，IBM
的“沃森”计算机与美国老牌益智节目“危险边缘”节目史上最强的两位答题高手一较高下，结果沃森打败了人类选手。三轮比赛中，沃森在第一、二轮几乎抢答近90％题目，第三轮抢答逾60％，答对率逾95％。沃森与两名人类选手的比分是：沃森 41413分， 肯-詹宁斯19200分，布拉德-鲁特 11200分。加上前两天比赛的得分，沃森最终总成绩 77147分，远高于两位人类选手
21600分和
24000分的成绩。
危险边缘（Jeopardy!）以其复杂、微妙的文字游戏而著称，自然语言数据在真实世界中所产生的各种问题，都能在其中有所体现。这也是对于高级认知系统的一次公开实验:
这种系统不是简单地程序化运行，而是能通过训练进行自主学习。
在比赛过程中，当主持人阅读线索时，它们会以电子内容的形式传输给沃森，然后这台超级电脑会对接收到的信息进行分析，并做出各种构想，接着搜索所有信息检验构想的正误，得出5个最佳答案，并对每个答案设定信心级别，最终决定选用哪个答案。
沃森不负众望，不断超越自我。它努力从每一条线索和每一个正确答案中获取信息，变得越来越智慧。和银河相比，沃森的计算能力还较弱。沃森可能进入不了超级计算机的计算能力前100名，但是沃森能把一件事情(智力问答)干到最好。沃森的强项也不在于深蓝系统的国际象棋，但日常知识类的问题的挑战不在国际象棋之下，甚至有过之而无不及。
二、
沃森超级电脑概况
沃森是一款由国际商业机器公司(IBM)开发，以公司创始人托马斯·沃森命名的人工智能软件系统。沃森评估了大约2亿页的内容，使用人类自然语言编写的沃森采用10支架、运行Linux系统、IBM POWER
750服务器。使用15万亿字节的内存，2880处理器核心，并且操作能力为每秒钟80万亿次浮点运算。
它还有一些更好的性能。要准确地回答问题沃森的首要任务是理解问题。精通语言学的研究人员通过程序算法让沃森能够从题目中找到其中的关键字，给出很多可能的答案，然后把答案按照可信度进行排序，决定是否参加抢答。这些复杂的过程，沃森运行起来只需要3S。它每秒可以进行80万亿次运算。当它认定答案可信时，这台身躯笨重的机器只需要10ms就可以按下抢答器。
而且，沃森有着十分“明智”的决策是否继续答题。“沃森”会估计《危险边缘》节目组剩下的奖金数额、自己比其他对手落后或领先多少、自己在特定类别的题目上的表现，及时调整自己的信息级别。如果“沃森”落后对手太多，它的信心级别会较低，例如40％，这时它仍会继续努力；不过在领先对手时它也会想：“我已经领先那么多了，为什么还要冒险呢?”
因此，即使它的信心值是75％，它也有可能会选择不回答。
三、
沃森的自然语言理解
所谓自然语言，是人类借以思维和互相交际的一个音义结合的符号系统，是一个变动的音义结合的系统结构。自然语言理解就是研究如何能让计算机理解并生成人们日常所使用的语言，目的在于建立起一种人与机器之间的密切而友好的关系。使之能进行高度的信息传递与认知活动。自然语言理解的研究从50年代开始到70年代，可以说基本上停留在实验和纯理论的探讨阶段。到了80年代，由于计算机硬件技术飞速发展和自然语言理解的理论水平的提高，自然语言理解的应用研究广泛展开。
自然语言理解的本质就是知识工程，即挖掘出人在理解语言时所运用的知识，然后“教会”计算机使用这些知识，也就是说，它包括两个方面：对人类知识的再认识和知识表达。从计算机处理的角度，对自然语言的研究和处理，一般应经过如下三个方面的过程：(1)把需要研究的问题在语言学上加以形式化，使之能以一定的数学形式，严密而规整地表示出来；(2)把这种严密而规整的数学形式表示为算法，使之在计算上形式化；(3)根据算法编写计算机程序，使之在计算机上加以实现。
语言的分析和理解过程应当是一个层次化的过程，它包括：词汇分析和句法分析(语法层)，语义分析(语义层)，基于语境和世界知识的篇章分析和自然语言生成(语用层)。虽然这种层次之间并非是完全隔离的，但是这种层次划分的确有助于更好的体现语言本身的构成。自然语言理解的基本模型下图所示。
目前，在人工智能界尚无统一的机器自然语言理解的定性准则和量化标准。一般认为，根据著名的图灵实验，至少有以下四条准则可用于判断计算机是否“理解”了某种自然语言：机器能正确回答输人文本中的有关问题；机器有能力生成输入文本的摘要；机器可以用不同的词语和句型来复述输入文本；机器具有将一种自然语言(源语)的输入文本翻译成另一种自然语言(目标语)文本的能力。
从60年代起，计算机的自然语言理解问题就一直是计算机科学家和语言学家面对的一个巨大挑战。经过长期的研究，人们逐渐认识到目前全面解决计算机的自然语言理解尚有非常大的难度，但在个别的应用系统中形成突破却具有较大的可能性。
沃森是20多名IBM研究人员4年心血的结晶，正是他们突破性地给予了沃森理解自然语言和精确回答问题的能力，才将人工智能推向新的阶段。自然语言理解是沃森的核心问题，特别是如何更快地利用已有的各种非结构化和结构化的知识来帮助自然语言的理解。这中间又涉及到机器学习、大规模并行计算、语义处理等领域。理解难懂的问题并给出最佳答案是沃森的特长。根据IBM的科学家的介绍，沃森本身并不会思考。“我们的目标并不是模拟人类大脑。”David Ferrucci在IBM研发团队工作了15年，专门研究自然语言问题以及在非结构化数据中寻找正确答案。他介绍说：“我们的目标是开发一台能更好地理解并通过语言与用户交流的电脑，但它理解和交流的方式并不需要与人一样。”沃森代表着计算机发展的重大突破，它可以理解人类语言，并且通过对数据库的搜索、筛选，寻找解决问题的答案。
四、
沃森给我们带来的启示
首先，沃森让IT产业从“人围绕计算机转”到“计算机围绕人转”迈出了一大步，计算机在“感知”能力上取得了重大的突破。回顾过去计算机产业发展的100年历史，人类在计算机处理能力“更快、更高、更强”上有巨大的突破，但一个无法回避的事实是，所有的计算机无论它处理能力有多快、多强，都是“人围绕计算机转”，计算机基本上听不懂人说话、看不懂人的喜怒哀乐。我们一直期待计算机在人机交互上有重大的突破，期待计算机真正能够“感知”人，接近人的智慧。而在这方面沃森迈出了巨大的一步。如果我们把人类能力分为“智力能力”、“情感能力”、“反思能力”等能力，目前计算机仅仅是在人类的“智力能力”中实现了部分突破，计算机尚无“情感能力”和“反思能力”，而同样是“智力能力”部分，计算机在音乐、图形图像识别、欣赏等层面，基本还没有被开发出来。如果我们把IT产业粗线条划分为“采集”、“传输”、“智能优化”三个环节，应该说在“传输”与“智能优化”后两个环节，IT产业这几十年的发展取得了非常大的突破，但在信息的采集和感知层，相对而言进展缓慢。但是沃森有了质的突破，沃森已经可以理解人的自然语言。尽管这个质变还是“一小步”，却为以后的产业“一大步”跨越奠定了基础。
其次“沃森”的突破昭示着未来的创新将更多来自融合和系统的整合，系统优化与系统创新将成为未来创新的最重要特征，为IT与其他领域的科技突破带来思路上的借鉴。根据沃森核心课题组成员IBM中国研究院潘越的透露，沃森计算机系统也并非一夜之间就达到了这样的能力，IBM全球的科学家在历时4年的研究中，遭遇了诸多的失败，沃森计算机答题的正确率从20%上升到80%经历了漫长的过程。在沃森系统使用的
