batching

BentoML 把模型服務變成 Python API

我拆 BentoML 的 serving 思路，順手給你一份可直接複製的 OpenAI 相容模型 API 模板。