token generation

llama-benchy 把 API 也納入基準測試

llama-benchy 把 llama-bench 類型測試搬到 OpenAI 相容 API，能看上下文變長、併發增加時的延遲與吞吐。