Definir resultados

O outcome eleva uma sessão de conversa para trabalho. Você define como o resultado final deve ser e como medir a qualidade. O agente trabalha em direção a esse objetivo, autoavaliando-se e iterando até que o resultado seja alcançado.

Quando você define um resultado, o harness provisiona automaticamente um grader (avaliador) para avaliar o artefato em relação a uma rubrica. O grader usa uma "context window" (janela de contexto) separada para evitar ser influenciado pelas escolhas de implementação do agente principal.

O grader retorna uma explicação resumindo quais critérios foram aprovados ou reprovados, ou confirmando que o artefato satisfaz a rubrica. Esse feedback é devolvido ao agente para a próxima iteração.



Criar uma rubrica

Uma rubrica é um documento markdown que descreve a pontuação por critério. A rubrica é obrigatória.

Exemplo de rubrica:

# DCF Model Rubric

## Revenue Projections
- Uses historical revenue data from the last 5 fiscal years
- Projects revenue for at least 5 years forward
- Growth rate assumptions are explicitly stated and reasonable

## Cost Structure
- COGS and operating expenses are modeled separately
- Margins are consistent with historical trends or deviations are justified

## Discount Rate
- WACC is calculated with stated assumptions for cost of equity and cost of debt
- Beta, risk-free rate, and equity risk premium are sourced or justified

## Terminal Value
- Uses either perpetuity growth or exit multiple method (stated which)
- Terminal growth rate does not exceed long-term GDP growth

## Output Quality
- All figures are in a single .xlsx file with clearly labeled sheets
- Key assumptions are on a separate "Assumptions" sheet
- Sensitivity analysis on WACC and terminal growth rate is included

Passe a rubrica como texto inline em user.define_outcome (veja a próxima seção), ou faça upload dela através da Files API para reutilização entre sessões.

rubric = client.beta.files.upload(file=Path("/tmp/rubric.md"))
print(f"Uploaded rubric: {rubric.id}")



Criar uma sessão com um resultado

Após criar uma sessão, envie um evento user.define_outcome. O agente começa a trabalhar imediatamente; nenhum evento adicional de mensagem do usuário é necessário.

# Criar uma sessão
session = client.beta.sessions.create(
    agent=agent.id,
    environment_id=environment.id,
    title="Financial analysis on Costco",
)

# Definir o resultado — o agente começa a trabalhar ao recebê-lo
client.beta.sessions.events.send(
    session_id=session.id,
    events=[
        {
            "type": "user.define_outcome",
            "description": "Build a DCF model for Costco in .xlsx",
            "rubric": {"type": "text", "content": RUBRIC},
            # ou: "rubric": {"type": "file", "file_id": rubric.id},
            "max_iterations": 5,  # optional; default 3, max 20
        }
    ],
)



Eventos de resultado

O progresso em uma sessão orientada a resultados é exibido no stream de eventos.

• Eventos agent.* (como mensagens e uso de ferramentas) mostram o progresso em direção ao resultado.
• Eventos span.outcome_evaluation_* são emitidos apenas para sessões orientadas a resultados e mostram o número de loops de iteração e o processo de feedback do grader.
• Você também pode enviar eventos user.message para uma sessão orientada a resultados para direcionar o trabalho do agente conforme ele progride, mas isso não é obrigatório: o agente trabalha em direção ao resultado por conta própria, iterando até ter sucesso ou esgotar as iterações.
• Um evento user.interrupt pausa o trabalho no resultado atual e marca o span.outcome_evaluation_end.result como interrupted, permitindo que você inicie um novo resultado.
• Após a avaliação final do resultado, a sessão pode ser continuada como uma sessão conversacional, ou um novo resultado pode ser iniciado. A sessão retém o histórico do resultado anterior.



Evento de usuário para definir resultado

Este é o evento que você envia para iniciar um resultado. Ele é ecoado de volta no recebimento, incluindo um timestamp processed_at e um outcome_id.

{
  "type": "user.define_outcome",
  "description": "Build a DCF model for Costco in .xlsx",
  "rubric": { "type": "file", "file_id": "file_01..." },
  "max_iterations": 5
}



Início da avaliação de resultado

Emitido quando o grader inicia uma avaliação sobre um loop de iteração. O campo iteration é um contador de revisão indexado em 0: 0 é a primeira avaliação, 1 é a reavaliação após a primeira revisão, e assim por diante.

{
  "type": "span.outcome_evaluation_start",
  "id": "sevt_01def...",
  "outcome_id": "outc_01a...",
  "iteration": 0,
  "processed_at": "2026-03-25T14:01:45Z"
}



Avaliação de resultado em andamento

Heartbeat emitido enquanto o grader está em execução. O raciocínio interno do grader é opaco: você vê que ele está trabalhando, não o que ele está pensando.

{
  "type": "span.outcome_evaluation_ongoing",
  "id": "sevt_01ghi...",
  "outcome_id": "outc_01a...",
  "processed_at": "2026-03-25T14:02:10Z"
}



Fim da avaliação de resultado

Emitido após o grader terminar de avaliar uma iteração. O campo result indica o que acontece a seguir.

{
  "type": "span.outcome_evaluation_end",
  "id": "sevt_01jkl...",
  "outcome_evaluation_start_id": "sevt_01def...",
  "outcome_id": "outc_01a...",
  "result": "satisfied",
  "explanation": "All 12 criteria met: revenue projections use 5 years of historical data, WACC assumptions are stated, sensitivity table is included...",
  "iteration": 0,
  "usage": {
    "input_tokens": 2400,
    "output_tokens": 350,
    "cache_creation_input_tokens": 0,
    "cache_read_input_tokens": 1800
  },
  "processed_at": "2026-03-25T14:03:00Z"
}



Verificando o status do resultado

Você pode escutar no stream de eventos por span.outcome_evaluation_end, ou fazer polling em GET /v1/sessions/:id e ler outcome_evaluations[].result:

session = client.beta.sessions.retrieve(session.id)

for outcome in session.outcome_evaluations:
    print(f"{outcome.outcome_id}: {outcome.result}")
    # outc_01a...: satisfied



Recuperando entregáveis

O agente grava arquivos de saída em /mnt/session/outputs/ dentro do sandbox. Quando a sessão estiver em idle, busque-os através da Files API com escopo para a sessão:

# Listar arquivos produzidos por esta sessão
files = client.beta.files.list(scope_id=session.id)
for f in files:
    print(f.id, f.filename)

# Baixar um arquivo
if files.data:
    content = client.beta.files.download(files.data[0].id)
    content.write_to_file("/tmp/output.txt")