提到 Transformer，大家就会联想到位置编码、注意力机制、编码器-解码器结构，本系列教程将探索 Transformer 的不同模块在故障诊断等信号分类任务中扮演什么样角色，到底哪些模块起作用？ 本期基于凯斯西储大学（CWRU）轴承数据，进行 Transformer 中位置编码 ...

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。针对如此妙的方法，香港理工大学、北京大学、MSRA 以及阿里共同推出 ...

让各位久等了，阿里小二这就开始上新菜：“GPU分片虚拟化”。 对于“分片”的理解，相信大家已经不陌生了。此处的分片从两个维度上来定义：其一，是对GPU在时间片段上的划分，与CPU的进程调度类似，一个物理GPU的计算engine在几个vGPU之间共享，而调度时间 ...