【Llumnix：针对大型语言模型（LLM）多实例服务的高效且易-20241004141240

【Llumnix：针对大型语言模型（LLM）多实例服务的高效且易于使用的请求调度层，它支持动态调度、内存碎片化减少、加载均衡优化，并且易于与现有的多实例部署平台集成】'Efficient and easy multi-instance LLM serving' GitHub: github.com/AlibabaPAI/llumnix #多实例调度# #大型语言模型# #负载均衡# #内存优化#