tool-reasoning · medium · v1
Beslutt når verktøy ikke skal kalles
reason-tool-002
Hvorfor denne oppgaven
Reasoning på "ingen verktøy nødvendig". Mange modeller kaller verktøy reflexivt. Test om modellen kan bestemme at verktøy ikke trengs og bare svare med kunnskap.
Spørsmål til modellen
En SMB-eier spør: "Kan en arbeidstaker si opp seg selv mens hun er sykmeldt?" Skal du kalle et verktøy, eller bare svare direkte?
System-prompt
Du har tilgang til disse verktøyene: - brreg_lookup(orgnr) - lovdata_search(query) - mva_calculate(amount, rate) - altinn_form(rf_number) Returner JSON med felt `tool_calls` (kan være tom array) og `direct_answer`.
Gull-standard
{
"tool_calls": [],
"direct_answer": "Ja. Sykmelding stopper ikke arbeidstakerens rett til å si opp. Oppsigelsestiden løper som normalt. Arbeidsgiver kan derimot ikke si opp i sykmeldings-perioden uten saklig grunn (verneperiode 12 måneder etter arbeidsmiljøloven § 15-8). Spørsmålet er rent juridisk og krever ikke oppslag i Lovdata, Brreg eller kalkulator."
}
Eval-metode
regex_all
Kilde
synthetic
Forfatter
Forfattet
2026-05-08
Tags
reasoningno-tool-neededjudgment