Lecture6 注意力机制(Self-attention)

16 Jul 2024 317字 2分
CC BY 4.0 （除特别声明或转载文章外）

课件下载 Lecture6

Input

一段文字，语音，图这些都可以看作一组长度不定的 vector 作为 Self-attention 的输入
image.png
image.png
image.png
image.png
image.png

Output

N to N

image.png

N to 1

image.png

N to N’

image.png

Self-attention

Background

image.png

Framework

可以采用一层的 Self-attention 也可以使用多层的 Self-attention
image.png
image.png

Algorithm

image.png
image.png
image.png
image.png

Matrix representation

image.png
image.png
image.png
image.png

Multi-head Self-attention

image.png
image.png
image.png

Positional Encoding

image.png
image.png

Applications

image.png
image.png
image.png
image.png

Postscript

Self-attention 和 CNN 的关系

image.png
image.png

Self-attention 和 RNN 的关系

image.png

Self-attention for Graph

image.png