在持续演进的 AI 编译器技术浪潮中,越来越多的探索正在发生、沉淀与交汇。12 月 27 日,Meet AI Compiler 第八期正是在这样的背景下与大家如期相见。
本期活动,我们邀请了来自上海创智学院、TileAI 社区、华为海思、先进编译实验室、AI9Stars 的 5 位专家,带来了覆盖软件栈设计、算子开发到性能优化的全链路分享。讲师们结合各自团队的长期探索,展示了不同技术路线在真实场景中的实现方式与取舍思路,让抽象概念有了更具体的落脚点。
有人带着最新的研究成果而来,也有人带着正在推进的工程问题走进现场。台上的分享精彩纷呈,现场讨论同样热烈:提问、互动、茶歇间的交流讨论,让话题不断被追问、补充和延展。分享不再是单向输出,而是逐渐形成了一场围绕 AI 编译器展开的长期对话。大家聊得根本停不下来,这也正是我们 AI Compiler Family 的魅力所在~
活动内容回顾
分享回顾
分享主题:TVM FFI: Open ABI and FFI for Machine Learning Systems
内容简介:TVM FFI 旨在解决机器学习系统生态割裂与互操作性难题。通过定义开放的 ABI 和 FFI 标准,该项目利用稳定的 C ABI 及 DLPack 实现零拷贝数据传递,打通了 PyTorch 等框架与底层编译器的连接。它支持跨语言高效调用,显著降低了多平台适配的工程成本。
观看本场分享,你将了解:
学习 TVM-FFI 通用标准,大幅降低跨语言 Mlsys 开发维护成本
了解并构建兼容未来的模块化 ML 生态
分享视频:【2025 Meet AI Compiler】TVM FFI: Open ABI and FFI for Machine Learning Systems_哔哩哔哩_bilibili
分享主题:TileRT:面向低延迟大模型推理的软硬件探索
内容简介:随着大模型跨入万亿参数,处理序列跨过百万 token,模型能力正在不断打破各项记录。然而,人们对模型极致计算速度的追求从未停止。一方面许多低延迟场景需要在秒级甚至毫秒级得到响应,如实时决策、博弈等场景;另一方面大模型训练进入 Agent 时代,超长序列的 rollout 时间成为主要瓶颈。
本报告介绍 TileRT 项目,从 AI 编译器、runtime、到架构设计的角度,思考如何构建针对极低延迟的大模型计算软件栈。
观看本场分享,你将了解:
了解大模型低延迟推理场景背景、重要性和未来展望
TileRT 的技术挑战与实践分享
分享视频:【2025 Meet AI Compiler】TileRT:面向低延迟大模型推理的软硬件探索_哔哩哔哩_bilibili
分享主题:PyPTO:基于白盒编译的融合算子开发框架
内容简介:本次分享聚焦华为新推出的融合算子开发框架 PyPTO。它基于 Tensor/Tile 编程范式,通过聚焦核内 SRAM 管理、跨平台 PTO 指令集和 MPMD 运行时等技术,结合 Human-In-The-Loop 调优,以白盒编译方式实现高性能与易用性的统一。
观看本场分享,你将了解:
掌握原生为 SIMD 架构设计的融合算子开发框架 PyPTO 的设计理念与核心架构
掌握 PyPTO 聚焦于发挥用户的专家经验的白盒编译思想与 Human-In-The-Loop 调优精髓
掌握利用 PyPTO 提供的可视化工具,快速在昇腾平台开发出高性能融合算子的完整流程
分享视频:【2025 Meet AI Compiler】PyPTO:基于白盒编译的融合算子开发框架_哔哩哔哩_bilibili
分享主题:面向 Triton 编译器的编译优化实践
内容简介:本次分享聚焦面向 Triton 编译器的优化实践,系统介绍 Triton 的语言与编译器结构、生态演进与算子库开发方法,并深入覆盖 CPU/GPU/NPU 等多架构的关键优化技巧,展示构建高性能统一算子体系的完整路径。
观看本场分享,你将了解:
Triton 生态的最新进展
Triton 编译器在多架构(CPU/GPU/NPU)上的关键优化技术
分享视频:【2025 Meet AI Compiler】面向 Triton 编译器的编译优化实践_哔哩哔哩_bilibili
分享主题:AutoTriton:强化学习驱动的大模型Triton算子优化技术探索
内容简介:利用 CUDA 等语言编写高效内核是性能工程师的专属领域,随着 Triton 等编程框架的出现,内核可编程性有着重大飞跃。但开发人员仍然需要手动配置关键参数,限制了性能可移植性和广泛应用。本报告将介绍在大模型算子生成评价基准与模型方面的探索,并展望大模型在算子优化方面的巨大潜力。
观看本场分享,你将了解:
大模型赋能算子优化的相关工作及最新进展
大模型在算子优化领域的关键技术
分享视频:【2025 Meet AI Compiler】AutoTriton:强化学习驱动的大模型 Triton 算子优化技术探索_哔哩哔哩_bilibili
主办方及合作伙伴
HyperAI超神经(hyper.ai)作为国际领先的人工智能及高性能计算社区,旨在通过提供行业资讯报道、数据集加速下载、在线教程演示、热门模型性能评测、前沿论文推荐、高价值成果解读、顶会日历集成等一系列服务,助力全球数据科学及⼈⼯智能⾏业的开发者及爱好者学习、理解、实践,与社区⼀起构建⼈⼯智能的未来。
访问官网:https://hyper.ai/
OpenBayes贝式计算是国内领先的高性能计算服务提供商,通过为新一代异构芯片嫁接经典软件生态及机器学习模型,进而为工业企业及高校科研提供更加快速、易用的数据科学计算产品,其产品已被数十家大型工业场景或头部科研院所所采用。
访问官网:https://openbayes.com/
MLC.AI 社区成立于 2022 年 6 月,并由 Apache TVM 主要发明者、机器学习领域著名的青年学者陈天奇,带领团队上线了 MLC 线上课程,系统介绍了机器学习编译的关键元素以及核心概念。
2022 年 11 月,在 MLC.AI 社区志愿者的共同努力下,首个完整的 TVM 中文文档上线,并成功托管至 HyperAI超神经官网,进一步为对机器学习编译感兴趣的国内开发者,提供了接触并学习一门新技术的基础设置——文档。
MLC 线上课程:https://mlc.ai/
TVM 中文文档:https://tvm.hyper.ai/
上海创智学院是汇聚顶尖大学、头部企业和科研机构联袂建设的新型人才培养机构。学院坚持「以学生为中心、以前沿为牵引」的培养理念,通过超高规格的师资、超常措施的培养、超凡条件的保障,探索具有中国特色的 AI 领军人才培养方案,致力于培养中国 AI 领军人才,打造世界人工智能创新高地。