attention矩阵

2021年6月6日 - 说到attention不再过多赘述,论文中的公式推导感觉比较简单,结合自己的理解写一下矩阵层面的表示.首先我们有encoder hidden state的一个序列: H = [ h ...

2021年4月14日 - attention矩阵是一个mxn维的矩阵,m、n分别是encoder和decoder时间步的长度.网络上有很多attention的解读,但大部分是复制论文和莫名其妙的公式,前几天...

2020年9月25日 - 今日在进行attention可视化时查询了一些资料,文本attention矩阵可视化代码记录如下: import numpy as np import matplotlib.pyplot as plt import pan...