RNN 循环/递归神经网络入门

阅读量：598 次

发布时间：2019-03-09

本文共 986 字，大约阅读时间需要 3 分钟。

RNN与LSTM比.Binary

RNN（循环神经网络）和LSTM（长短期记忆网络）是处理时间序列问题的核心技术，本文将从基础到应用详细探讨它们的原理和优势。

RNN概述

为什么有RNN

传统的神经网络（如CNN）主要处理单一时刻的信息，局限性在于对时间序列信息的处理能力不足。RNN之所以备受关注，主要原因在于其能有效捕捉和利用时间依赖信息。

可变输入输出长度：RNN擅长处理不定长度的时间序列，可以实现一对一、一对多、多对一和多对多等模式。

记忆功能：通过隐藏状态的连接，使网络能够记住上一步的信息，提升对复杂模式的建模能力

RNN模型

RNN的核心设计是一个循环结构，允许每一单位基于当前输入及上一步的记忆进行输出计算。考虑到传统RNN在长序列训练中易出现梯度消失问题，LSTM和GRU被提出的改进方案。

LSTM模型

LSTM通过引入"门控"机制，有效解决了传统RNN在长序列训练中的梯度消失问题。门控机制不仅能够选择性地保留重要信息，还能自动调整信息量，为模型提供更强的表示能力。

LSTM结构

细胞状态CT：从上一步的记忆传递到当前状态，包含重要信息。

门控机制：通过Sigmoid门 determines哪些信息值得保留

输入门：决定当前输入影响细胞状态的程度

忘记门：剔除对当前任务无关紧要的信息

更新门：调整细胞状态中需要更新的部分

细胞状态

细胞状态通过门控机制实现自身更新，保证信息在长时间序列中的稳定传递和不会因为时间推移而逐渐消失。

信息选择

通过门控机制，模型能够动态选择保留或丢弃信息

更新门：基于tanh函数产生候选更新值

门控输出：通过Sigmoid门确定更新值的传递比例

输出信息

模型输出既包含当前输入信息，也反映上一步的记忆影响

GRU算法

GRU（Gated Recurrent Unit）将RNN的门控概念进一步简化

优势

模型结构更简单

运算效率更高

动态门控同样优化了梯度问题

学习值得注意

LSTM和GRU在处理长序列和存在时间依赖的任务中表现优异

应用于文本生成、机器翻译、语音识别、音乐推荐等领域设计时需注意以下要点

合理设置模型深度和序列长度

选择适当的优化策略

定期进行验证和调优

本文通过详细对比RNN、LSTM和GRU的结构与特性，为实践应用提供参考依据。理解这些技术基础对之后的深入学习和实际项目有重要启发。

转载地址：http://ncupz.baihongyu.com/

你可能感兴趣的文章

MySQL 备份 Xtrabackup

mysql 多个表关联查询查询时间长的问题

mySQL 多个表求多个count

mysql 多字段删除重复数据，保留最小id数据

MySQL 多表联合查询：UNION 和 JOIN 分析

MySQL 大数据量快速插入方法和语句优化

mysql 如何给SQL添加索引

mysql 字段区分大小写

mysql 字段合并问题（group_concat）

mysql 字段类型类型

MySQL 字符串截取函数,字段截取，字符串截取

MySQL 存储引擎

mysql 存储过程注入_mysql 视图事务存储过程 SQL注入

MySQL 存储过程参数：in、out、inout

mysql 存储过程每隔一段时间执行一次

mysql 存在update不存在insert

Mysql 学习总结（86）—— Mysql 的 JSON 数据类型正确使用姿势

Mysql 学习总结（87）—— Mysql 执行计划（Explain）再总结

Mysql 学习总结（88）—— Mysql 官方为什么不推荐用雪花 id 和 uuid 做 MySQL 主键

Mysql 学习总结（89）—— Mysql 库表容量统计