Self-Attentionとは

Self-Attention（自己注意機構）とは、Transformerというニューラルネットワークの中核となる仕組みで、文などの入力の各要素が、同じ入力の中の他のすべての要素とどれだけ関連しているかを計算し、その重みに応じて情報を取り込むものである。離れた位置にある語の関係もとらえやすい。