引用本文
赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350−2358 doi: 10.16383/j.aas.c200100
Zhao Wen-Di, Chen De-Wang, Zhuo Yong-Qiang, Huang Yun-Hu. Deep neural fuzzy system algorithm and its regression application. Acta Automatica Sinica, 2020, 46(11): 2350−2358 doi: 10.16383/j.aas.c200100
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200100
关键词
高维大数据，深度神经模糊系统，自适应神经模糊系统，分层结构，可解释性
摘要
深度神经网络是人工智能的热点, 可以很好处理高维大数据, 却有可解释性差的不足. 通过IF-THEN规则构建的模糊系统, 具有可解释性强的优点, 但在处理高维大数据时会遇到“维数灾难”问题. 本文提出一种基于ANFIS (Adaptive network based fuzzy inference system)的深度神经模糊系统(Deep neural fuzzy system, DNFS)及两种基于分块和分层的启发式实现算法: DNFS1和DNFS2. 通过四个面向回归应用的数据集的测试, 我们发现: 1)采用分块、分层学习的DNFS在准确度与可解释性上优于BP、RBF、GRNN等传统浅层神经网络算法, 也优于LSTM和DBN等深度神经网络算法; 2)在低维问题中, DNFS1具有一定优势; 3)在面对高维问题时, DNFS2表现更为突出. 本文的研究结果表明DNFS是一种新型深度学习方法, 不仅可解释性好, 而且能有效解决处理高维数据时模糊规则数目爆炸的问题, 具有很好的发展前景.
文章导读
1943年Mcclloch与Pitts首次提出人工神经元数理模型(MP模型)[1], 开启了人工神经网络的研究. 1958年, Rosenblatt提出感知器Perceptron[2], 可以自学习实现分类, 引发了第一次神经网络热潮. 1969年, Minsky和Papert出版的
目前, 虽然DNN得到广泛应用并取得良好的效果, 但存在模型计算量庞大、模型验证复杂、可解释性差等缺点. 而模糊系统通过一系列IF-THEN规则进行构建, 可解释性较强. 1965年, Zadeh教授发表了开创性论文“Fuzzy sets”[16], 标志着模糊系统理论的诞生. 1975年, Mamdani基于该理论构建了模糊控制器, 成功应用于锅炉蒸汽机控制[17]. 1992年Wang证明了模糊系统具有通用逼近性[18], 并与Mendel提出WM方法[19], 可从数据中自动产生出模糊系统, 但缺乏模型参数自学习能力, 1993年, Jang提出自适应神经模糊系统(Adaptive network-based fuzzy inference system, ANFIS)[20], 使模糊系统具有较强的学习能力, 推动了模糊系统的发展.
模糊系统在处理低维小数据时具有较高的精度, 并得到较为广泛的应用[21], 但处理高维大数据时模糊系统往往面临 “维数灾难”问题. 为适应大数据模糊系统, 目前研究主要采用降维, 减少规则数等方式进行改进, 虽然具有一定可行性, 但模型精度明显下降, 难以真正解决高维问题.
我们认为深度学习不仅仅包括深度神经网络, 也可以由其他系统构建而成. 目前以模糊系统为基础构建的深度系统研究还非常少, 基本处于空白阶段[22]. 结合模糊系统可解释强的特点, 我们提出了一种基于ANFIS的深度神经模糊系统(DNFS), 该系统采用自底向上的方式逐层构造, 通过分块、分层结构降低模型的运算量与复杂度, 不仅可以保持可解释性高的特点, 同时也可提高模糊系统的精度.
赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350−2358 doi: 10.16383/j.aas.c200100
Zhao Wen-Di, Chen De-Wang, Zhuo Yong-Qiang, Huang Yun-Hu. Deep neural fuzzy system algorithm and its regression application. Acta Automatica Sinica, 2020, 46(11): 2350−2358 doi: 10.16383/j.aas.c200100
http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200100
关键词
高维大数据，深度神经模糊系统，自适应神经模糊系统，分层结构，可解释性
摘要
深度神经网络是人工智能的热点, 可以很好处理高维大数据, 却有可解释性差的不足. 通过IF-THEN规则构建的模糊系统, 具有可解释性强的优点, 但在处理高维大数据时会遇到“维数灾难”问题. 本文提出一种基于ANFIS (Adaptive network based fuzzy inference system)的深度神经模糊系统(Deep neural fuzzy system, DNFS)及两种基于分块和分层的启发式实现算法: DNFS1和DNFS2. 通过四个面向回归应用的数据集的测试, 我们发现: 1)采用分块、分层学习的DNFS在准确度与可解释性上优于BP、RBF、GRNN等传统浅层神经网络算法, 也优于LSTM和DBN等深度神经网络算法; 2)在低维问题中, DNFS1具有一定优势; 3)在面对高维问题时, DNFS2表现更为突出. 本文的研究结果表明DNFS是一种新型深度学习方法, 不仅可解释性好, 而且能有效解决处理高维数据时模糊规则数目爆炸的问题, 具有很好的发展前景.
文章导读
1943年Mcclloch与Pitts首次提出人工神经元数理模型(MP模型)[1], 开启了人工神经网络的研究. 1958年, Rosenblatt提出感知器Perceptron[2], 可以自学习实现分类, 引发了第一次神经网络热潮. 1969年, Minsky和Papert出版的
目前, 虽然DNN得到广泛应用并取得良好的效果, 但存在模型计算量庞大、模型验证复杂、可解释性差等缺点. 而模糊系统通过一系列IF-THEN规则进行构建, 可解释性较强. 1965年, Zadeh教授发表了开创性论文“Fuzzy sets”[16], 标志着模糊系统理论的诞生. 1975年, Mamdani基于该理论构建了模糊控制器, 成功应用于锅炉蒸汽机控制[17]. 1992年Wang证明了模糊系统具有通用逼近性[18], 并与Mendel提出WM方法[19], 可从数据中自动产生出模糊系统, 但缺乏模型参数自学习能力, 1993年, Jang提出自适应神经模糊系统(Adaptive network-based fuzzy inference system, ANFIS)[20], 使模糊系统具有较强的学习能力, 推动了模糊系统的发展.
模糊系统在处理低维小数据时具有较高的精度, 并得到较为广泛的应用[21], 但处理高维大数据时模糊系统往往面临 “维数灾难”问题. 为适应大数据模糊系统, 目前研究主要采用降维, 减少规则数等方式进行改进, 虽然具有一定可行性, 但模型精度明显下降, 难以真正解决高维问题.
我们认为深度学习不仅仅包括深度神经网络, 也可以由其他系统构建而成. 目前以模糊系统为基础构建的深度系统研究还非常少, 基本处于空白阶段[22]. 结合模糊系统可解释强的特点, 我们提出了一种基于ANFIS的深度神经模糊系统(DNFS), 该系统采用自底向上的方式逐层构造, 通过分块、分层结构降低模型的运算量与复杂度, 不仅可以保持可解释性高的特点, 同时也可提高模糊系统的精度.