老潘的AI社区

话题	回复	浏览量	活动
欢迎来到老潘的社区博客！大杂烩	0	1183	2023 年3 月 19 日
一文了解vLLM AI大模型 vllm	0	18	2024 年12 月 19 日
Best Mac For Large Language Models AI大模型 llm , mac	0	5	2024 年12 月 17 日
使用 float8 和 FSDP2实现超级训练性能大杂烩 pytorch , fsdp	2	62	2024 年12 月 1 日
Little LLM量化思考 AI大模型量化 , llm	0	37	2024 年11 月 22 日
LLM Ops：大语言模型 (LLM) 的 GPU VRAM 需求计算 AI大模型 llm	0	31	2024 年11 月 20 日
PyTorch Eager Mode 量化 TensorRT 加速模型优化量化	0	54	2024 年11 月 18 日
Deploying LLMs with TorchServe + vLLM AI大模型 vllm	0	38	2024 年11 月 2 日
Pushing the Boundaries of Mixed-Precision LLM Inference With Marlin AI大模型 cuda , llm	0	41	2024 年10 月 29 日
[vLLM vs TensorRT-LLM] #2. Towards Optimal Batching for LLM Serving AI大模型 vllm , tensorrt-llm , llm	0	36	2024 年10 月 16 日
[vLLM vs TensorRT-LLM] 全面的评测 AI大模型 llm	0	161	2024 年10 月 8 日
大模型中的kv-cache AI大模型 llm , cache	0	4603	2023 年7 月 27 日
TorchAO量化初探模型优化量化	0	116	2024 年9 月 24 日
FlashAttention1 && FlashAttention2 模型优化 transformer , op , llm	0	1375	2023 年7 月 24 日
pytorch编译器相关信息部署不内卷 torch_compiler	0	49	2024 年9 月 11 日
torch.export 机制大杂烩 torchfx , torch_compiler	0	77	2024 年9 月 11 日
torch.export IR Specification IR 说明部署不内卷 torchfx , torch_compiler	0	888	2023 年12 月 2 日
大模型指标排行榜大杂烩 llm	0	32	2024 年9 月 11 日
Best Practices for Tuning TensorRT-LLM for Optimal Serving with BentoML AI大模型翻译 , llm , tensorrt-llm	0	39	2024 年9 月 10 日
NVTX使用方法指北模型优化 nvidia , cuda , 性能优化	0	480	2023 年7 月 1 日
Pytorch模型加速系列（二）——Torch-TensorRT 部署不内卷 torch2trt	0	525	2024 年1 月 28 日
Improving GPU Performance by Reducing Instruction Cache Misses 编程相关 cuda , 翻译	0	33	2024 年9 月 1 日
为啥大模型需要量化？？？部署不内卷量化 , llm	0	171	2024 年9 月 1 日
CUDA Graph 相关资料部署不内卷 cuda	0	480	2023 年7 月 24 日
Pytorch C++拓展多种方式部署不内卷 cpp , pytorch	0	719	2023 年12 月 25 日
Accelerating AI/ML Model Training with Custom Operators 大杂烩翻译	0	31	2024 年8 月 25 日
以LLAMA为例，快速入门LLM的推理过程 AI大模型 llama , nlp , llm	7	15829	2024 年8 月 13 日
TensorRT-LLM初探（一）基于最新commit运行llama，以及triton-tensorrt-llm-backend 部署不内卷 llm , tensorrt , tensorrt-llm	9	4534	2024 年8 月 12 日
TensorRT-LLM汇总大杂烩 tensorrt-llm	0	147	2024 年8 月 4 日
大模型推理——FasterTransformer + TRITON AI大模型 tritonserver , llm , tensorrt-llm	0	1503	2023 年7 月 21 日