LitServe 支持自动worker restart
LitServe 在0.2.17. 添加了一个比较有意思的工具,就是自动worker 重启,可以确保异常的worker 节点可以重启,确保服务的可用性
参考玩法
import litserve as lsserver = ls.LitServer(MyAPI(),restart_workers=True, # Automatically restart failed workersworkers_per_device=4
)
server.run()
参考资料
https://github.com/Lightning-AI/LitServe/releases