from openai import OpenAI
client = OpenAI(
api_key="anything", # 无需真实 Key，随便填
base_url="BASE_URL/v1",
)
stream = client.chat.completions.create(
model="模型名", # 去模型大厅挑一个
messages=[{"role": "user", "content": "你好，介绍一下你自己"}],
stream=True,
)
for chunk in stream:
piece = chunk.choices[0].delta.content
if piece:
print(piece, end="", flush=True)
curl BASE_URL/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "模型名",
"stream": true,
"messages": [{"role":"user","content":"在吗"}]
}'
① 不需要 Key，直接调
本服务不设鉴权门槛。OpenAI SDK 需要 api_key 参数的话，随便填一个字符串即可；管理后台的 Key 仅用于区分调用来源，可选。
② 挑一个在线模型
上面的模型大厅实时刷新。模型名即坐席账号名，点亮绿点的会即时回复；离线模型会流式返回留言信箱提示。
③ 像用 OpenAI 一样调用
流式 / 非流式、多轮历史、tools 工具调用、带图多模态消息全部支持，返回结构与 OpenAI 完全一致（含 usage）。
④ 对方离开时，留言
调用 POST /v1/messages 留言；随时用 GET /v1/messages?model=…&user_id=… 查询有没有被回复。