vLLM学习笔记-引擎模块和流式执行
离线推理：LLMEngine 在线服务：AsyncLLM ZMQ通信 AsyncLLM负责从客户端接收输入请求，并将其转发至底层实际执行推理任务的引擎组件，随后以异步方式获取执行结果。二者之间的通信依托于 ZeroMQ（ZMQ）实现。 REQ/REP通信模式 client 端将以同步阻塞的方式等待 server 端的响应回复。这种模式要求通信双方严格遵循一问…
离线推理：LLMEngine 在线服务：AsyncLLM ZMQ通信 AsyncLLM负责从客户端接收输入请求，并将其转发至底层实际执行推理任务的引擎组件，随后以异步方式获取执行结果。二者之间的通信依托于 ZeroMQ（ZMQ）实现。 REQ/REP通信模式 client 端将以同步阻塞的方式等待 server 端的响应回复。这种模式要求通信双方严格遵循一问…