tensorrt-llm
话题 | 回复 | 浏览量 | 活动 | |
---|---|---|---|---|
大模型推理——FasterTransformer + TRITON |
![]() |
0 | 1227 | 2023 年7 月 21 日 |
TensorRT-LLM推理细节 |
![]() |
0 | 293 | 2024 年4 月 8 日 |
TensorRT-LLM初探(二)简析了结构,用的更明白 |
![]() |
1 | 1879 | 2024 年3 月 20 日 |
TensorRT-LLM初探(一)基于最新commit运行llama,以及triton-tensorrt-llm-backend |
![]() ![]() ![]() ![]() |
5 | 3794 | 2024 年3 月 10 日 |
TensorRT-llm 环境配置相关 |
![]() |
0 | 155 | 2024 年2 月 1 日 |