VLLM

参考资料：https://zhuanlan.zhihu.com/p/691038809 我先尝尝😋 作为一个从没有听说过vLLM的人来说，了解一个新东西最好的方式就是打开它的文档。 点击https://docs.vllm.ai/，映入眼帘的是： 你注意到了这句话： vLLM is a fast and easy-to-use library for LLM inference and serving. 来自谷歌翻译：vLLM 是一个快速且易于使用的 LLM 推理和服务库。 ...