流式输出 - Qoder CN

默认情况下，模型一轮回复要等完整产出后才作为整段消息送达。启用流式输出后，SDK 在生成过程中持续推送细粒度增量片段，可以做打字机效果，或单独渲染推理过程、工具调用过程。

启用

在 options 里启用 partial messages（TypeScript 为 includePartialMessages，Python 为 include_partial_messages）：

import { qodercliAuth, query } from '@qodercn-ai/qodercn-agent-sdk';

const q = query({
  prompt: 'Write a short analysis report',
  options: {
    auth: qodercliAuth(),
    includePartialMessages: true,
  },
});

打字机效果

模型生成的文本以增量片段连续到达，逐片打印就是打字机效果：

for await (const msg of q) {
  if (msg.type === 'stream_event') {
    const delta = msg.event.delta;
    if (delta?.type === 'text_delta') {
      process.stdout.write(delta.text);
    }
  }
}

推理过程

推理类模型在正式回复前会产出"思考"片段：

if (delta?.type === 'thinking_delta') {
  process.stdout.write(delta.thinking);
}

工具调用入参

工具调用的参数也是逐步生成的，例如可以拿来在 UI 里实时渲染模型正在写入的文件内容：

if (delta?.type === 'input_json_delta') {
  process.stdout.write(delta.partial_json);
}

完整事件结构见 SDK References。

​启用

​打字机效果

​推理过程

​工具调用入参

启用

打字机效果

推理过程

工具调用入参