Modal推出Websockets
talkingdev • 2024-03-01
943964 views
大多数无服务器GPU提供需要每个模型推论一个POST请求。但是，在您想要流模型输出的情况下，这是一个挑战。Websockets使流媒体成为可能。
talkingdev • 2024-03-01
943964 views
大多数无服务器GPU提供需要每个模型推论一个POST请求。但是，在您想要流模型输出的情况下，这是一个挑战。Websockets使流媒体成为可能。