人工智能|焦李成院士：进化优化与深度学习的思考( 四 )

在研究认知建模、自动学习以及渐进演化的过程中，应该结合环境的变化、自然的演化以及学习动态变化，能够帮助我们在认知、学习、优化、计算、识别的道路上构造新的模型，构造新的算法，创新新的有潜力的途径。
目前，我们将物理的Wishart极化特性与大脑的稀疏性相结合，提出了一种快速提取目标信息的非线性稀疏变换网络——Wishart Deep Stacking Network(W-DSN),设计了初级快速感知与高级层次感知模块，能够在噪声未知时对目标数据自动抽取高层语义特征，实现自动、高效、精准的分类。
另一个工作是也把物理特征、脑的稀疏特征、多尺度特征与卷积神经网络相结合，提出Contourlet卷积神经网络，解决了稀疏的、方向的、多非变的尺度特征的提取和表征问题。

进化优化与深度表征学习

文章插图

人脑的进化，包括神经网络的进化，其实是参数的进化、超参数调整，以及结构进化和动力学过程。而进化算法其实是从人工到自动的突围，深度学习与进化相结合或许是让机器学习拥有自动进化能力的一种路径。
深度与进化结合的研究有两方面的优势。其一，进化解决深度网络结构、权重、参数等优化的科学问题；其二，深度解决进化搜索效率低、复杂度高的科学问题。具体而言，深度学习改善进化计算收敛速度慢、解多样性退化、质量低的问题。
例如，利用深度神经网络表征问题的特性，维持群体多样性；深度神经网络代替昂贵的适应度评价过程；利用深度神经网络学习进化计算的选解机制。
进化计算和深度学习相结合在谋求自动求解非线性、小样本、大数据、高维度、组合爆炸等复杂向题非常有潜力。这方面的代表性工作是“神经结构进化搜索(NAS)”。
神经网络结构的进化研究已经有几十年的历程，如上图所示，已经出现了一些出色的工作。它有如下特点：

无需求导：进化搜索是随机搜索算法，不需要计算梯度和解析的目标函数。
群体特性：进化搜索是基于种群的搜索算法，一次可以获得多个解。
组合爆炸：进化搜索应用范围广，适合大规模复杂问题的优化。
全局最优解：进化搜索是随机搜索方法，且算法以概率1收敛到全局最优解。
非线性随机：进化搜索可以解决非线性问题，寻优规则由概率决定。
并行计算：可以通过大规模并行计算来提高计算速度。

2021年的最新工作中，加拿大渥太华以及麦吉尔大学的研究人员表明：使用突发规则构建的深度神经网络具有良好性能，为进化神经网络架构搜索供了更加坚实的理论基础。换句话说，机器正在进行的学习方式可以通过生理过程来逼近。
神经网络权值优化也经过了多年的发展。80年代提出的权重优化相关工作包含动力学过程；而目前神经网络的进化优化，主要局限于权值的优化和超参的优化。这是组合爆炸问题，使得优化过程收敛速度慢、计算时间长、复杂度高，而难以使用。因此，梯度优化算法容易受到局部最优的影响，而进化算法在存在鞍点的情况下表现非常好。
当前超参数选取大多依靠堆叠GPU，这只能缓解计算量问题，但从机理上而言，需要找到自动学习的方法。超参数优化的问题在于：非线性、非凸、组合优化、混合优化、试错成本高、组合爆炸。经过几十年的发展，这些问题仍然没有解决。