“Transformer完全不能支撑我们下一步，尤其是在Agent时代走向下一步。”12月18日，90后AI大牛、阶跃星辰首席科学家张翔雨公布了自己最新的研究结论，直指当前AI领域核心架构Transformer的技术瓶颈。

在谈到推出 Titans 的初衷时，论文一作 Ali Behrouz 表示，「注意力机制一直是大多数 LLM 进展的重要组成部分，不过它无法扩展到长上下文。因此，Titans ...

A：Titans是一种新型AI架构，能够在运行时更新核心记忆，实现更快的处理速度并处理大规模上下文内容。它的特别能力是结合了RNN的速度和Transformer的准确性，可以有效处理超长上下文，例如完整文档理解或基因组分析。

TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。 今天，阿布扎比支持的技术创新研究所 (TII) ...

Ben Khalesi covers the intersection of artificial intelligence and everyday tech at Android Police. With a background in AI and data science, he enjoys making technical topics approachable for those ...

The transformer, today's dominant AI architecture, has interesting parallels to the alien language in the 2016 science fiction film "Arrival." If modern artificial intelligence has a founding document ...