大数据技术体系中的语义分析

大数据技术体系中的语义分析
本文介绍了语义的相关概念、特征，指出语义分析技术在大数据挖掘中的重要性，并给出了示例。
一、什么是语义
在现实世界中，事物所代表的概念的含义，以及它与其他概念之间的关系，可以被认为是语义。
语义是对符号的解释，比如“苹果是一种水果，含有丰富的矿物质和维生素。”就解释了“苹果”这个字符串（符号、概念），“《互联网大数据处理技术与应用》是国内第一本系统讲述互联网大数据技术的专著，由曾剑平编著，于2017年由清华大学出版社出版”则描述了《互联网大数据处理技术与应用》这本书（概念）的含义。
语义的典型特征包括：语义的客观性和主观性、语义的清晰性和模糊性、以及语义的领域性等。其中，模糊性主要体现在语义边界上，例如“胖”所具有的语义是一个模糊概念，边界并不清晰，用简单的判断逻辑是无法定义的。领域性是指对于一些词语含义的理解，需要在某个具体的领域中才有确定的结果，可能存在同一事物在不同领域中有不同理解的情况。例如“苹果”在水果食品领域和手机通信领域就具有不同的含义。
二、大数据中的语义分析
大数据4V特征中的一个典型特征是Variety，它有多方面的含义，其中最主要的是指数据类型的多样化。在表示一本图书时，可以有数值型、日期型、文本型等多种形式。
在“大数据价值挖掘的难点和重点：非结构化数据处理”一文中我们介绍了结构化数据的表示方法，如下表示了两本书B1、B2：
B1: （互联网大数据处理技术与应用，曾剑平，清华大学出版社，2017，大数据类）
B2: （数学之美，吴军、人民邮电出版社，2014，数学类）
在图书推荐之类的大数据应用中，要决定把什么书推荐给客户，其中最基本的问题是计算两本书的相似度。就B1、B2这两本书来说，出版年份2017和2014之间的相似度就比较容易计算，但是“大数据类”和“数学类”简单依靠字符串就无法准确计算了，“互联网