best practices¶
该目录内容由构建脚本自动汇总。
页面¶
- 异步双发未生效问题调优指导实例
- msProf工具使用案例——ResNet50推理模型性能分析
- 同一Batch内请求长度不均问题分析
- 一、问题背景
- 通信地址不对齐导致性能下降问题分析
- cpu cachemiss资源冲突与受限问题分析
- CPU 线程频繁切换
- 一、问题背景
- DP负载不均
- EP负载不均
- 框架调度下发不同步问题调优指导实例
- GIL锁抢占问题分析
- IR中断打断问题分析
- 内核进程频繁切换问题分析
- KV Block数量不足
- KVCache传输影响模型性能
- 显存超过临界值触发内存重整问题分析
- 内存碎片问题分析
- 内存泄漏问题分析
- 模型性能劣化导致SLO劣化
- 模型前后处理耗时过长问题分析
- 多实例负载不均
- 一、问题背景
- PrefixCache未命中
- Pthread线程锁等待
- Python GC回收高耗时
- 模型推理请求等待时间过长问题调优指导实例
- sampler执行耗时过长问题分析
- scheduler耗时过长
- 服务化与纯模型性能差异过大问题调优指导实例
- 一、问题背景
- 系统调用高耗时函数