基于时间模式注意力机制的LSTM(TPA-LSTM)

小鱼儿 2023-05-22 14:26 23阅读 0赞

#### 对TPA过程的理解 ####

1.  首先传入大量的时间序列，LSTM通过大量的时间序列获得一个隐状态矩阵H。
2.  对于隐状态矩阵H的每行(第i行)，使用k个CNN过滤器提取特征，产生维度为n\*k的HC矩阵。  
    ![在这里插入图片描述][20200418001818188.png_pic_center]
3.  对于要预测的ht，将其与HC矩阵的每行作用，从而对每行产生一个权重ai，这个权重代表了HC矩阵每行对要预测的ht的作用强度，即每个时间序列对ht的影响强弱。  
    ![在这里插入图片描述][20200418002026363.png_pic_center]![在这里插入图片描述][20200418002045634.png_pic_center]
4.  将每行进行加权求和得到vt，代表了所有行对ht的综合作用，即时间方面的作用，也即本文提出的时间注意力。  
    ![在这里插入图片描述][20200418002214131.png_pic_center]
5.  在进行对ht的预测时，在原来的公式中添加所有时间序列对ht的影响，即：

![在这里插入图片描述][2020041800163231.png_pic_center]

[20200418001818188.png_pic_center]: /images/20230521/6be0f7f0f6b4405ba1baa6bc8c961f99.png
[20200418002026363.png_pic_center]: https://img-blog.csdnimg.cn/20200418002026363.png#pic_center
[20200418002045634.png_pic_center]: /images/20230521/23da4cfa8c544d8aa13ce97cdb30fcb7.png
[20200418002214131.png_pic_center]: /images/20230521/b318841d33e74b649d54dc88a25941f7.png
[2020041800163231.png_pic_center]: /images/20230521/ad9c65541492425db4165c09ff714024.png

发表评论取消回复

表情：

评论列表（有 0 条评论，23人围观）

还没有评论，来说两句吧...

相关阅读

相关【神经网络】基于自注意力机制的深度学习

0. 背景介绍：近年来，深度学习在人工智能领域取得了长足的进步，并在图像识别、语音识别、自然语言处理等领域取得了令人瞩目的成果。神经网络作为深度学习的核心组件之一，被广

﹏ヽ暗。殇╰゛Y/ 2024年03月17日 13:50/ 0 赞/ 151 阅读

相关注意力机制、bmm运算

![20191009191333910.png][][日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Paddle

绝地灬酷狼/ 2023年07月25日 14:01/ 0 赞/ 86 阅读

相关基于双阶段注意力机制的递归神经网络时间序列预测方法(DA-RNN)

Abstract 非线性自回归外生(NARX)模型是根据一个时间序列以前的值以及多个驱动(外生)序列的当前值和过去值来预测时间序列当前值的模型，已经研究了几十年。尽

秒速五厘米/ 2023年07月25日 08:43/ 0 赞/ 96 阅读

相关基于交叉注意力机制的知识图谱问答模型

An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Com

刺骨的言语ヽ痛彻心扉/ 2023年06月13日 04:45/ 0 赞/ 115 阅读

相关基于时间模式注意力机制的LSTM(TPA-LSTM)

对TPA过程的理解 1. 首先传入大量的时间序列，LSTM通过大量的时间序列获得一个隐状态矩阵H。 2. 对于隐状态矩阵H的每行(第i行)，使用k个CNN过滤器提取特

小鱼儿/ 2023年05月22日 14:26/ 0 赞/ 24 阅读

相关【深度学习】基于注意力机制的Transformer处理医疗影像

![在这里插入图片描述][resize_m_lfit_w_962_pic_center] 文章目录 1 前言 2 Self-Attention

我不是女神ヾ/ 2022年10月10日 04:39/ 0 赞/ 277 阅读

相关 keras实现注意力机制

class Attention_layer(Layer): def __init__(self, W

一时失言乱红尘/ 2022年10月08日 14:23/ 0 赞/ 373 阅读

相关 Python 实现注意力机制

![2368baf2d44a8ca21650fbbbf922c85c.png][] 作者|李秋键出品|AI科技大本营(ID:rgznai100) 引言随着信息技术的

不念不忘少年蓝@/ 2022年09月13日 13:26/ 0 赞/ 288 阅读

相关注意力机制（Attention Mechanism）

注意力机制（Attention Mechanism）近年来，深度学习的研究越来越深入，在各个领域也都获得了不少突破性的进展。基于注意力（attention）机制的神经网络

た入场券/ 2022年06月01日 13:23/ 0 赞/ 388 阅读

相关注意力机制笔记

本文是对[深度学习中的注意力机制][Link 1]做的笔记，并附上注意力机制应用的部分例子。首先，从其功能感受下注意力机制的作用。注意力机制让神经网络在执行预测

迷南。/ 2022年03月15日 14:10/ 0 赞/ 415 阅读