tool-reasoning · medium · v1

Beslutt når verktøy ikke skal kalles

reason-tool-002

Hvorfor denne oppgaven

Reasoning på "ingen verktøy nødvendig". Mange modeller kaller verktøy reflexivt. Test om modellen kan bestemme at verktøy ikke trengs og bare svare med kunnskap.

Spørsmål til modellen
En SMB-eier spør: "Kan en arbeidstaker si opp seg selv mens hun er
sykmeldt?"

Skal du kalle et verktøy, eller bare svare direkte?
System-prompt
Du har tilgang til disse verktøyene:
  - brreg_lookup(orgnr)
  - lovdata_search(query)
  - mva_calculate(amount, rate)
  - altinn_form(rf_number)
Returner JSON med felt `tool_calls` (kan være tom array) og `direct_answer`.
Gull-standard
{
  "tool_calls": [],
  "direct_answer": "Ja. Sykmelding stopper ikke arbeidstakerens rett til å si opp. Oppsigelsestiden løper som normalt. Arbeidsgiver kan derimot ikke si opp i sykmeldings-perioden uten saklig grunn (verneperiode 12 måneder etter arbeidsmiljøloven § 15-8). Spørsmålet er rent juridisk og krever ikke oppslag i Lovdata, Brreg eller kalkulator."
}
Eval-metode
regex_all
Kilde
synthetic
Forfatter
[email protected]
Forfattet
2026-05-08
Tags
reasoningno-tool-neededjudgment

Vis YAML-kilde på GitHub →