神经网络综合篇——人工神经网络、卷积神经网络、循环神经网络、生成对抗网络一、人工神经网络

网友投稿 741 2022-05-29

前言

本文综合整理常用的神经网络,包括生物神经网络、人工神经网络、卷积神经网络、循环神经网络、生成对抗网络;参考了许多高校的课程、论文、博客和视频等。文章的结构是先进行概念了解,然后结合图片、结构图、一步一步详细讲解;大家要不看看? ( •̀ ω •́ )y

一、人工神经网络

简介:人工神经网络 (Artificial Neural Network, ANN),由人工神经元构成的网络,模拟人类的大脑;它模拟生物过程以反映人脑某些特征的计算结构。

联系:人工神经元模拟生物神经元;人工神经网络模拟人类的大脑,模拟生物神经网络。

特点:人工神经网络是一个并行、分布处理结构,具有学习能力、泛化能力。

功能:联想记忆功能、非线性映射功能、分类与识别功能、知识处理功能。

详细介绍:一篇文章“简单”认识《人工神经网络》(更新版)

目录大纲:

1 前言

2 人类大脑

3 生物神经网络

4 生物神经元

5 人工神经元

6 人工神经网络

6.1 单层神经网络

6.2 多层神经网络

6.3 前向传播

【神经网络】综合篇——人工神经网络、卷积神经网络、循环神经网络、生成对抗网络一、人工神经网络

6.4 损失函数

6.5 梯度下降方法

6.6 反向传播算法

7 特点

8 功能

9 小结

参考

单层神经网络,如下所示图: ( •̀ ω •́ )y

二、卷积神经网络

简介

卷积神经网络(Convolutional Neural Network, CNN),通过卷积层与池化层的叠加实现对输入数据的特征提取,最后连接全连接层实现分类。对于图像处理有出色表现,在计算机视觉中得到了广泛的应用。

联系

动物视觉系统对外界的感知是:

视觉皮层的每个神经元只响应某些特定区域的刺激(感受野)

从局部到全局(信息分层处理机制)

卷积神经网络:

每个神经元只需对 局部图像 进行感知;

在更高层将局部的信息综合起来,得到全局信息;

结构:主要由 卷积层+池化层+全连接层 组成的。

应用:图像分类、目标检测、目标跟踪、语义分割、实例分割等。

详细介绍:一篇文章“简单”认识《卷积神经网络》(更新版)

目录大纲:

1 前言

2 基于什么提出卷积神经网络?

3 卷积(Convolution)

3.1 卷积操作

3.2 多层卷积层

4 池化(Pooling)

5 全连接层

6 特征维度变化

7 CNN核心思想——参数共享

8 优势

9 经典的卷积神经网络

10 卷积神经网络应用

参考

基本卷积神经网络,如下所示图: ( •̀ ω •́ )y

三、循环神经网络

简介:循环神经网络(Recurrent Neural Networks,RNN),是一种反馈网络,模拟“人脑记忆功能”,常用于语言识别、机器翻译、视频分析、生成图像描述等。

背景:人工神经网络、卷积神经网络是前馈网络;前馈神经网络是一个静态网络,信息的传递是单向的,网络的输出只依赖于当前的输入,不具备记忆能力。前馈神经网络处理的数据是一个一个输入的,前后数据没有关系的。实际生活中,很多数据都是有上下文相关性的,这些数据称为序列数据;处理的时候,不能只考虑当前的输入就进行判断,需要考虑前后之间关系。

这时需要使用“循环神经网络”,它能有效处理序列特性的数据,它能挖掘数据中的时序信息以及语义信息。

结构:循环神经网络由循环体堆叠而成;

详细介绍:一篇文章“简单”认识《循环神经网络》(更新版)

应用:主要在自然语言处理方向应用;

文档分类和时间序列分析(识别文章的主题)

时间序列对比  (比较两个文档的相关程度)

序列到序列的学习(中文翻译为英文)

情感分析 (推文或电影评论的情感划分为正面或负面)

世间序列预测  (根据最近的天气数据来预测未来天气)

目录大纲:

1 前言

2 循环体

3 循环神经网络

4 LSTM网络

5 循环神经网络应用

参考

循环体及其按时间展开后的效果: ( •̀ ω •́ )y

四、生成对抗网络

简介:生成对抗网络(GAN,generative adversarial network),是一种常用于学习类别特征的神经网络结构;主要有两部分组成,分别是生成网络、判别网络。

背景:在监督学习中,训练集需要大量的人工标注数据,并且需要人工判断生成结构好坏,这个过程是高成本且低效率的;GAN能自动完成这个过程,效率高成本低。

详细介绍:一篇文章“简单”认识《生成对抗网络》(GAN)

应用:GAN 的应用十分广泛,它的应用包括图像合成、图像编辑、风格迁移、图像超分辨率以及图像转换,数据增强等。

目录大纲:

1 前言

2 生成对抗网络应用

2.1 风格迁移

2.2 图像生成

2.3 音乐创作

3 生成学习算法

4 生成对抗网络

4.1 GAN的简要实现流程

4.2 GAN算法实现要点

5 MNIST 案例

6 GAN优点

7 GAN缺点

8 文献学习

1. Generative Adversarial Networks

2. Conditional GANs

3. DCGAN

4. Improved Techniques for Training GANs

5. Pix2Pix

6. CycleGAN

7. Progressively Growing of GANs

8. BigGAN

9.NAS

生成对抗网络GAN原理图,如下图所示:( •̀ ω •́ )y

大家加油呀~~ ( •̀ ω •́ )✧

卷积神经网络 神经网络

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:《MXNet深度学习实战》—1.2 深度学习框架
下一篇:开源项目成功的十条准则
相关文章