|
- NVIDIA Triton是什么？ - 知乎
一、NVIDIA Triton Triton 是英伟达开源的推理服务框架，可以帮助开发人员高效轻松地在云端、数据中心或者边缘设备部署高性能推理服务器，服务器可以提供 HTTP gRPC 等多种服务协议。 Triton Server 目前支持 Pytorch、ONNXRuntime 等多个后端，提供标准化的部署推理接口，同时提供了模型批处理、模型融合
- 有没有模型推理服务化框架Triton保姆级教程？ - 知乎
Triton Mult-Model Execution Diagram 默认情况下，如果同时到达多个针对同一模型的请求（比如同时有两个请求分类模型model1），Triton会通过在GPU上 一次只调度一个来序列化它们的执行，如下图所示。
- triton (openai)如何实现splitk和streamk? - 知乎
本来准备早睡，刷到这一条知乎直接起来在tilelang里补上了GEMM的Stream-K和SplitK的Example (主打一个秒杀），不要问我为什么不写Triton，不喜欢，不爱写，速速加入TileLang神教！
- 如何入门 OpenAI Triton 编程? - 知乎
Triton 的教程, 其实英文和中文版都很少, 知乎上有一些文章, 比如 杨军：谈谈对OpenAI Triton的一些理解 陈清扬：OpenAI Triton：25行代码实现cuBLAS GEMM 95%以上的性能 科研败犬丶：OpenAI Triton MLIR 第一章: Triton DSL 这些文章相对来说是比较专业的
- TVM,MLIR,Triton等深度学习编译器的主要区别是什么？ - 知乎
TVM 是正儿八经的深度学习编译器。且是目前功能最全面的、图算功能都有的AI编译器。 trition是基于MLIR框架的一款“算子”编译器，起初是为了绕过cuda去写gpu算子，现在成为MLIR社区的重要组成部分。而且未来如果linalg -- triton的路线能够打通，感觉有很多可以做的事情。（快去学triton，肯定不亏
- 华为昇腾920后续会接入OpenAI开源的Triton编程语言么吗？
感觉比较困难，因为triton很核心的tensor类编程要求了tensor和vector能力的交互。而npu本质还是加速器，编程能力不强。 2024 May 24更新如下 有希望，因为Ascend的整体编程模型是SPMD（Single Program Multiple Data）这和triton是一致的，对于耦合架构而言，tensor vector的交互似乎也解决了。但整个compiler工程的工作量
- 如何看待字节 Seed 开源的 Triton-distributed (专为计算-通信重叠优化设计)？ - 知乎
2 2 传统通信重叠策略 传统方法将原始计算和通信操作分解为多个块，然后通过精心调度操作来潜在地重叠通信与计算。分解中的分区数量与张量并行中的设备数量一致（或是其两倍，以更好地利用双向数据传输）。限制分区数量可以避免复杂的调度并减少可能的调度开销。图3展示了一个ReduceScatter
- CUDA和Triton哪个好用? - 知乎
CUDA和Triton各有优劣，适用不同的GPU编程需求。
|
|
|