AI提效

Attention 真正厉害的地方,是让内容自己决定权重

解释第四场公开课里的 Attention 核心逻辑,帮助学习者理解为什么它代表了权重生成机制的一次重要跃迁。

2026-03-307分钟
SMA 提前假设所有点同样重要,EMA 假设越近越重要,LSTM 则让状态部分决定保留与遗忘。到了 Attention,权重机制又往前走了一步:它不再先给出某种时间上的固定偏好,而是直接问“当前这个任务下,哪些信息更重要”。也就是说,权重开始由内容本身来决定,而不是由时间距离或固定规则先行定义。
这也是为什么第四场公开课会把 Attention 视为一条重要分界线。因为从这里开始,技术指标的演化不再只是更复杂的平滑或衰减,而是进入了一个“上下文决定重要性”的阶段。
Attention 之前和之后,权重来源发生了本质变化 真正的升级不是更多参数,而是“谁来决定什么重要”。 1 SMA 默认全部同权。 2 EMA 默认越近越重要。 3 LSTM 状态部分决定保留。 4 Attention 内容本身决定权重。
Attention 文章适合用权重来源演化图,因为真正的跃迁就在“谁决定重要性”这件事上。

对量化而言,Attention 的意义是更接近复杂市场环境

金融市场里,重要性往往不是机械的。某些过去很远的数据点,在特殊环境下可能突然重新变得关键;某些最近的数据,在另一个上下文里却未必值得重视。Attention 的价值,就在于它更接近这种复杂现实。它承认重要性不是固定规则,而是需要在上下文里动态判断。
当然,这也意味着它更强大,同时也更需要评估和约束。也正因此,公开课后半段才会继续走向白箱因子化和系统化生产,因为表达能力一旦上来,管理能力必须跟上。

关键结论

  • Attention 的关键升级,是让内容自己决定权重
  • 这使它更接近真实市场中“重要性会变化”的特性
  • 表达能力增强之后,也必须同步提升评估与管理能力

关联课程

如果你想把这篇文章里的方法系统化学习,可以从这些课程继续深入。

继续阅读

微信:446860105