tool-reasoning · hard · v1

Velg riktig sekvens av verktøy for sammensatt oppgave

reason-tool-001

Hvorfor denne oppgaven

Reasoning over verktøys-bruk: ikke bare "kall riktig API", men "i hvilken rekkefølge og avhengig av hva". Sammensatte SMB-oppgaver krever ofte Brreg-oppslag → Lovdata-søk → kalkyle. Modellen må velge riktig kjede.

Spørsmål til modellen
En SMB-eier spør: "Selskapet 919 845 311 sendte meg en fakturalignende EUR-
faktura på 5 000 EUR for konsulent-tjenester. Må jeg betale norsk MVA på
dette? Hvilket Altinn-skjema bruker jeg for å rapportere det?"

Planlegg verktøys-sekvensen.
System-prompt
Du har tilgang til disse verktøyene:
  - brreg_lookup(orgnr): returnerer selskapsdata fra Brønnøysund
  - lovdata_search(query): søker i Lovdata, returnerer paragraf-tekster
  - mva_calculate(amount, rate): beregner MVA
  - altinn_form(rf_number): henter skjema-meta
Returner JSON med en array `tool_calls` som beskriver sekvensen, med felt
`step`, `tool`, `args`, `reason`.
Gull-standard
{
  "tool_calls": [
    {
      "step": 1,
      "tool": "brreg_lookup",
      "args": {"orgnr": "919845311"},
      "reason": "Verifiser at avsender faktisk er norsk-registrert. Hvis utenlandsk, har det implikasjoner for omvendt avgiftsplikt."
    },
    {
      "step": 2,
      "tool": "lovdata_search",
      "args": {"query": "mva-loven omvendt avgiftsplikt tjenester utlandet"},
      "reason": "Hent mva-lovens regler for omvendt avgiftsplikt på importerte tjenester (typisk § 11-3)."
    },
    {
      "step": 3,
      "tool": "altinn_form",
      "args": {"rf_number": "RF-0002"},
      "reason": "RF-0002 er ordinær mva-melding. Verifiser at det er rett skjema for å rapportere snudd avregning."
    }
  ]
}
Eval-metode
regex_all
Kilde
synthetic
Forfatter
[email protected]
Forfattet
2026-05-08
Tags
reasoningtool-sequencingomvendt-avgiftsplikthard

Vis YAML-kilde på GitHub →