书名：人工神经网络模型设计案例
作者：胡俊英、孙凯、刘军民、吴石松
ISBN：978-7-5604-5379-8
出版社：西北大学出版社
出版日期：2024.05
本书从提高神经网络模型的训练效率和模型性能出发，聚焦于网络模型结构的设计与实现，提出了一系列改进的或新设计的网络模型，并设计了相关的算法和数据实验，进一步增强了神经网络的发展。 全书共包括10章，具体内容如下： 第1章主要介绍神经网络的研究背景、研究意义、生物依据与研究现状。 第2章主要介绍神经网络的基础知识，包括构成网络的基本单元人工神经元模型和网络结构，并详细介绍了常用的激活函数以及经典的网络结构：前馈神经网络和卷积神经网络。 第3章介绍了一种可以进行高效训练的深度人工神经网络模型。该模型通过堆栈若干个极端学习机构建而成，通过贪婪逐层预训练这若干个极端学习机完成模型训练。该模型既继承了无监督极端学习机快速训练的优势，可以进行高效训练，又具有深度结构，可以提取到数据的高层次特征。 第4章介绍了一种基于限制玻尔兹曼机的修正的亥姆霍兹机。该修正的亥姆霍兹机通过额外引入的隐层与顶层构成一个限制玻尔兹曼机，基于该限制玻尔兹曼机可以更好地构建顶层节点的生成分布，从而整个模型可以更准确地构建数据的生成分布。 第5章介绍了一种能够学到更多判别信息的正则化的限制玻尔兹曼机。该模型通过对特征进行类内聚集和与类间排除的约束，要求同类别的特征尽可能相同，不同类别的特征尽可能疏远，将标签信息引入到特征表示中，使得模型学到的特征更具有判别性。 第6章介绍了一种具有多维连接权重的人工神经网络模型。该模型中节点间的连接权重是多维的，我们启发式地定义了节点的编码机制，使得不同维度的权重之间相互竞争与合作来完成信息传递。 第7章介绍了一种改进的表格神经网络模型用于更加准确地进行人口统计特征预测。该模型通过引入注意力机制来学习表格数据集中的特征对于预测目标的权重（全局信息），能够将全局和局部信息融合起来，从而更好地完成预测任务。 第8章介绍了一种广义极端学习机自编码器（GELM-AE）。该模型一方面在目标函数中引入了流形正则化项，来限制隐层和输出层之间的权重，保证了距离较近的原始数据在输出空间距离也较近；另一方面通过堆叠GELM-AE构建了多层广义极端学习机自编码模型（ML-GELM），此模型不仅保持了ELM的快速训练的特点，还有效继承了深度模型有效提取特征的优势。 第9章介绍了一种基于Fisher的主成分模型（FPCA），并进一步构建FP-CANet。FPCA模型将结合Fisher线性判别分析融入到PCA中，可以充分利用标签信息提高模型的分类性能。又为了计算方便，引入了一个中间变量，设计了一个FPCA的逼近模型。理论上，我们分析了FPCA原始模型与逼近模型的关系，并且给出了逼近模型的收敛性分析。此外，通过堆叠FPCA的逼近模型，我们构建了一个可以提取到高层特征的深度网络，称为FPCA网络（FPCANet），进一步改进了模型的性能。 第10章介绍了一种新的动态路由卷积神经网络（DRCNN）。该模型提出了新的动态路由层，该层能够更好地混合来自不同视角之间的特征，减少信息损失。我们还举例证明了经典的视角池化层是我们提出的动态路由层的特例。大量的3D数据实验结果验证了DRCNN的有效性。