tool-reasoning · hard · v1
Velg riktig sekvens av verktøy for sammensatt oppgave
reason-tool-001
Hvorfor denne oppgaven
Reasoning over verktøys-bruk: ikke bare "kall riktig API", men "i hvilken rekkefølge og avhengig av hva". Sammensatte SMB-oppgaver krever ofte Brreg-oppslag → Lovdata-søk → kalkyle. Modellen må velge riktig kjede.
Spørsmål til modellen
En SMB-eier spør: "Selskapet 919 845 311 sendte meg en fakturalignende EUR- faktura på 5 000 EUR for konsulent-tjenester. Må jeg betale norsk MVA på dette? Hvilket Altinn-skjema bruker jeg for å rapportere det?" Planlegg verktøys-sekvensen.
System-prompt
Du har tilgang til disse verktøyene: - brreg_lookup(orgnr): returnerer selskapsdata fra Brønnøysund - lovdata_search(query): søker i Lovdata, returnerer paragraf-tekster - mva_calculate(amount, rate): beregner MVA - altinn_form(rf_number): henter skjema-meta Returner JSON med en array `tool_calls` som beskriver sekvensen, med felt `step`, `tool`, `args`, `reason`.
Gull-standard
{
"tool_calls": [
{
"step": 1,
"tool": "brreg_lookup",
"args": {"orgnr": "919845311"},
"reason": "Verifiser at avsender faktisk er norsk-registrert. Hvis utenlandsk, har det implikasjoner for omvendt avgiftsplikt."
},
{
"step": 2,
"tool": "lovdata_search",
"args": {"query": "mva-loven omvendt avgiftsplikt tjenester utlandet"},
"reason": "Hent mva-lovens regler for omvendt avgiftsplikt på importerte tjenester (typisk § 11-3)."
},
{
"step": 3,
"tool": "altinn_form",
"args": {"rf_number": "RF-0002"},
"reason": "RF-0002 er ordinær mva-melding. Verifiser at det er rett skjema for å rapportere snudd avregning."
}
]
}
Eval-metode
regex_all
Kilde
synthetic
Forfatter
Forfattet
2026-05-08
Tags
reasoningtool-sequencingomvendt-avgiftsplikthard