我了个手动注意力机制,人类的本质是复读机。 重要的话说三遍,复读 is all u need!重要的话说三遍,复读 is all u need!重要的话说三遍,复读 is all u need! 仔细推导了一下,其实原版 Attention 机制是不会出现这种问题的。 这个其实是 Causal LM 才会有的问题,这个技巧本质上是在用 Causal LM ...