如何使用 Ray LLM Deep Learning Containers 运行多节点推理工作负载

Ray LLM Deep Learning Containers 可在 Amazon EKS 的两个 GPU 节点上部署同一大语言模型，分离预填充与解码并提供统一的 OpenAI 兼容端点。容器集成 vLLM、NIXL 和 EFA，通过 YAML 配置服务，无需编写应用代码。