《人工神经网络原理》读书笔记（九）-人工神经网络的实现

全部笔记的汇总贴：《人工神经网络原理》-读书笔记汇总

一、神经网络实现技术概述

神经网络实现程度

• 零级实现：未涉及神经网络的具体实现，神经网络仅存在于理论模型；
• 一级实现：仅限于在冯诺依曼体系结构计算机上采用软件模拟方式实现；
• 二级实现：用$p$个物理处理单元实现由$n$个神经元组成的网络，其中$0<p<n$；
• 三级实现：物理处理单元及连接与所要实现的神经网络模型中的神经元及连接一一对应。

实现视神经网络时使用的材料

• 基于传统计算机的虚拟实现
  研究神经计算机体系结构，即如何在现有技术条件的基础上，有效地将各种功能部件组织起来以最大程度地支持神经网络的仿真。
  采用软件增加了实现的通用性和灵活性

• 传统计算机上的软件模拟；
• 神经网络并行多机系统；
• 神经计算加速器。

• 基于直接硬器件的物理实现（全硬件实现）
  物理处理单元及处理单元之间的通信与具体问题的神经网络模型中的神经元及连接一一对应，每一个神经元及每个一连接都有与之相应的物理器件。
  优点：处理速度快，易于满足实时性要求。
  缺点：缺乏通用性、灵活性和可编程性。

二、神经网络的虚拟实现

基于传统计算机的软件模拟

在通用计算机上使用任意一种高级语言（例如C/C++语言）模拟实现一个特定的神经网络模型。

• 人工进行编码，能够对神经计算过程进行深入细致地描述，并实施灵活地控制。

通用地神经网络模型库

• 有一些事先建立好地神经网络模型，研究人员从中选择适合于特定问题地神经网络模型、参数和学习规则进行模拟求解。

开发支持通用神经网络模拟的神经网络软件开发环境。

神经网络并行多机系统

出发点

• 利用多个处理器，使得每个处理器都能够分担部分计算任务，提高运算速度，同时体现神经计算大规模并行的本质特点。

并行实现神经计算的四个级别

• 神经网络计算级
• 神经计算步骤级
• 神经元计算级
• 微任务计算级

神经计算加速器

神经计算的特点

• 运算集中
• 并行处理
• 存储量巨大

神经计算加速器主要面向神经计算特点进行设计，立足于现有计算机技术，能够快速完成乘法和加法运算，能够有效地利用存储器对神经网络的信息进行快速存储和访问。

三、神经网络的物理实现

神经网络的VLSI实现

• 神经网络的模拟VLSI实现
• 神经网络的数字VLSI实现
• 神经网络的数模混合VLSI实现

神经网络的光学实现

纯光学方法

• 典型的纯光学器件是全息图，它能够实现按内容寻址的联想记忆；
• 纯光学器件虽然可以实现无相互影响的高密度连接，并且具有很好的并行性，但是它却不易实现神经元的非线性转移特性。

光学混合方法

神经网络的分子实现

分子器件

• 采用电导聚合物等化合物
• 采用生物聚合物及原生蛋白质

下一章传送门：《人工神经网络原理》读书笔记（十）-人工神经网络的发展