IXThinker·2025-01-17 16:12vLLM新增ROCm安裝指南
大語言模型推理加速框架vLLM的中文文檔新增以ROCm安裝的指引，說明AMD GPU的支援範圍、依賴要求與兩種建置方式，方便開發者在非NVIDIA硬件上運行推理服務。
支援AMD硬件
vLLM專為大語言模型推理加速而設，實現KV快取記憶體近乎零浪費。是次指引明確支援採用ROCm 6.1的AMD GPU，包括MI200、MI300系列及Radeon RX 7900系列。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文，仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入／註冊解鎖全文 →Google 或電郵地址即可，即刻解鎖。