Tildelingskriteriet ingen visste om

"Pris" og "kvalitet" er tildelingskriterium som ofte blir brukt i anbudskonkurranser. Dvs. man ønsker lavest mulig pris og høyest mulig kvalitet. Andre kriterier forekommer også ofte, men disse to er nok de vanligste. Det som uansett er viktig, er at de kriteriene man skal bruke blir beskrevet i konkurransegrunnlaget. Av og til forekommer det imidlertid at viktige kriterier ikke blir oppført her. I Kofa-sak 2016/33 var det nettopp dette som var tilfelle. Men verken oppdragsgiver, klager eller Kofa fikk med seg at et viktig tildelingskriterium var utelatt.

Oppdragsgiver i saken var Troms fylkeskommune, som hadde utlyst anbudskonkurranse for ny rammeavtale på skolemateriell, kontor og datarekvisita. Det endte med at Staples ble tildelt kontrakten, og at tilbyder Lyreco sendte inn klage. Klagen gjaldt ganske mange forskjellige forhold, deriblant valg av evalueringsmodell.

I konkurransegrunnlaget var det opplyst om følgende tildelingskriterier:

Kriterium	Vekt
Pris	40%
Kvalitet	50%
Levering	10%

I evalueringa ble imidlertid priskritieret delt inn i to underkriterier - som skulle telle 60% og 40% av prisen - uten at dette ble oppgitt i konkurransegrunnlaget. Den forholdsmessige evalueringsmodellen ble brukt. Som vi har sett tidligere, så er kjernen i den forholdsmessige modellen at man regner ut poeng ved å dividere laveste pris med pris. Modellen er med andre ord ikke lineær.

I klagen sin skriver Lyreco at denne evalueringsmodellen er ulovlig fordi relevante prisforskjeller ikke blir reflektert. I tillegg hevdes det at den er ulovlig, fordi vekting av underkriterier for pris ikke var oppgitt i konkurransegrunnlaget. Det henvises til at modellen ikke oppfyller den såkalte ATI-testen.

ATI-testen ble diskutert av Kofa i sak 2014/95 (se blogg), og i sak 2016/33 refererer de til denne:

Nemnda skrev at modellen "er ikke i seg selv ulovlig å benytte ved evalueringen", men at bruken av den må underlegges testen som EU-domstolen har foreskrevet i sak C-331/04 (ATI). Dette innebærer at fastsettelse av evalueringsmodellen er ulovlig dersom modellen, hvis den hadde vært kjent på forhånd, kunne hatt betydning for tilbudsutformingen, hvis den endrer tildelingskriteriet, eller hvis den blir valgt basert på forhold som kan virke diskriminerende overfor en av tilbyderne.

Kofa er imidlertid delt i sak 2016/33. Flertallet konkluderer med at modellen er lovlig i dette tilfellet, da klager ikke har gitt noen god begrunnelse på hvorfor den skulle være ulovlig. Mindretallet mener at modellen ikke er lovlig, da oppdragsgiver ikke har gitt noen god begrunnelse på hvorfor den skulle være lovlig.

Og det er forståelig at Kofa er delt i denne saken. Begrunnelsene fra både klager og oppdragsgiver var syltynne. Ingen fikk f.eks. med seg at et svært viktig tildelingskriterium mangler i konkurransegrunnlaget.

Det er en viktig forskjell mellom sak 2014/95 og sak 2016/33. Tilsynelatende ser de analoge ut, men de bruker egentlig ikke helt den samme evalueringsmodellen. I sak 2014/95 var det nemlig bare ett priskriterium, mens det i sak 2016/33 var to.

Vanligvis når man har flere priskriterier og forholdsmessig modell, så behandler man eventuelle flere priskriterier som underkriterier. Dvs. at prisene summeres (gjerne med vekting) først, og deretter regnes det ut en forholdsmessig score. Den forholdsmessige scoren regnes kun ut én gang.

I denne saken ble det imidlertid gjort to ganger: Det var egentlig to priskriterier. Formelt sett var de underkriterier, men de ble likevel behandla som hovedkriterier i modellen: For begge priskriteriene ble det regna ut en forholdsmessig score, og poengsummene ble etterpå summert. Dvs. motsatt av det som er vanlig.

Riktignok kan ingen av disse metodene karakteriseres som den riktige, men den øverste metoden er likevel mye mer riktig enn den siste. Den siste metoden fører i praksis til at man har introduert et nytt tildelingskriterium: Det er ikke lenger bare lav pris eller høy kvalitet som er viktig for å vinne konkurransen. En annen ting blir minst like viktig, og det er ikke en god ting.

Følgende priser ble tilbudt i konkurransen:

Tilbyder	Priskriterie 1	Priskriterie 2	Prispoeng	Poeng totalt
Staples	kr. 2 446 304	kr. 29 305	7,309	9,489
Lyreco	kr. 1 348 960	kr. 67 347	7,741	9,196

Resultatet av dette ble altså at Staples vant konkurransen med 9,489 poeng, selv om Lyreco ble vurdert til å ha lavest pris. Men la oss nå leke oss litt med tall: Hva skjer om Lyreco istedenfor å levere inn de oppgitte prisene, heller hadde redusert prisen på kriterie 1 med 40%, samt økt prisen på kriterie 2 med 40%? Da ville vi fått følgende resultat:

Tilbyder	Priskriterie 1	Priskriterie 2	Prispoeng	Poeng totalt
Staples	kr. 2 446 304	kr. 29 305	5,985	9,185
Lyreco	kr. 809 375	kr. 94 286	7,243	9,196

I dette tilfellet er det Lyreco som ender opp med flest poeng og vinner konkurransen. Men det er et problem: Grunnen til at de vinner konkurransen denne gangen er ikke nødvendigvis at de har lavest pris, men at de er best på det "hemmelige" tildelingskriteriet.

La oss gjøre et tankeeksperiment til, men denne gangen holder vi oss ikke til 40%, vi kjører ting helt ut i det ekstreme: La oss tenke oss at Lyreco bestemmer seg for å dumpe prisen på priskriterie 1, og heller ta det igjen på kriterie 2. Vi tenker oss at de kun tar en pris på 100 000 på kriterie 1. Hvor høy pris kan de ta på kriterie 2, og likevel vinne konkurransen? Svaret er hva som helst:

Tilbyder	Priskriterie 1	Priskriterie 2	Prispoeng	Poeng totalt
Staples	kr. 2 446 304	kr. 29 305	4,245	8,710
Lyreco	kr. 100 000	kr. 1 000 000 000 000 000 000 000 000	6,000	9,196

Det hemmelige kriteriet som Lyreco vinner på i denne konkurransen kaller jeg for "ujevn pris". Lyreco får ikke best score (6 poeng) på priskriteriet fordi de er billigst, men fordi de har størst forskjell på priskriterie 1 og priskriterie 2. At ujevn pris blir er kriterium er noe som alltid inntreffer dersom man legger sammen flere ikke-lineære prismodeller.

En så høy pris som i dettte siste eksempelet er riktignok urealistisk og ville blitt stoppa, men man trenger ikke å gjøre det så ekstremt for å misbruke systemet. Dersom det er en konkurranse der oppdragsgiver forplikter seg til å kjøpe produkter fra begge kategoriene, kan det likevel fort bli skikkelig dyrt.

Det bør også nevnes at siden denne saken bare gjaldt en rammeavtale, så kan faktisk ujevn pris være et kriterium som også har noen positive sider. Da kan oppdragsgiver kanskje unngå å kjøpe noe som helst av de dyreste avtaleproduktene, og bare kjøpe de billigste. Men kriteriet burde likevel vært oppgitt i konkurransegrunnlaget.

La oss til slutt vende tilbake til ATI-testen: Ville tilbyderne ha tilbudt andre priser dersom evalueringsmodellen hadde vært oppgitt i konkurransegrunnlaget? Oppdragsgiver kunne f.eks. ha vært ærlig og sagt rett ut, at "i denne konkurransen ønsker vi å premiere tilbydere som har størst mulig forskjell på prisen i kriterie 1 og kriterie 2". Det er vel ganske sannsynlig at tilbyderne ville tatt hensyn til det da, og tilbudt andre priser. Å ikke oppgi dette kriteriet i konkurransegrunnlaget er dermed i strid med ATI-testen. Men det kan også hende at tilbyderne ville hatt vansker med å ta konkurransegrunnlaget seriøst.

Tiltagende diskrepans

Det er godt kjent at relative evalueringsmodeller generelt sett ikke er egna til å finne det beste tilbudet i en anbudskonkurranse. Hvor gode slike modeller er varierer imidlertid svært mye fra situasjon til situasjon. Man kan ha flaks og få det optimale resultatet, eller man kan ha uflaks og få et resultat som er ren galskap. Alt kan skje når man bruker slike modeller. Det er derfor ikke overraskende at Kofa i sak 2014/95 stempler den populære forholdsmessige modellen som ulovlig. Avgjørelsen gjelder ikke modellen generelt, men spesifikt for den situasjonen Kofa vurderer.

Et hovedpoeng i denne dommen er at oppdragsgiver Harstad kommune ikke oppgir noen evalueringsmodell i konkurransegrunnlaget. De velger modell etter tilbudsfristens utløp. Likevel skriver de at pris og kvalitet skal telle hhv. 60% og 40%. Kofa ser på denne situasjonen som analog til det å presisere vekter på kriterier etter tilbudsfristen.

Etter å ha drøfta innholdet i flere tidligere dommer, konkluderer Kofa med at denne fremgangsmåten er ulovlig. Bruk av forholdsmessig modell setter nemlig ulike vekter på pris for ulike tilbud, og det er ikke konsistent med de konstante vektene som ble oppgitt i konkurransegrunnlaget. Slik tolker i alle fall jeg det de skriver:

Metoden fører til at prisforskjellene mellom tilbudene får mindre betydning ved poengfastsettelsen enn den prosentmessige forskjellen fra det rimeligste tilbudet skulle tilsi, og diskrepansen tiltar desto større forskjell det er i pris.

(...)

I foreliggende sak har bruken av den valgte metoden ført til at den faktiske forskjellen mellom laveste pris og valgte leverandørs pris på ca. 40 %, kun har gitt et poengmessig utslag på ca. 28 %. Konkurransegrunnlaget anga videre at tildelingskriteriet pris skulle ha en vekt på 60 %, og det var ikke gitt informasjon om metoden for evaluering. I en slik situasjon kan den forholdsmessige metode ikke anses egnet til å sikre den fastsatte vekten av tildelingskriteriet pris, noe som innebærer at de vilkår EU-domstolen har oppstilt ikke kan anses oppfylt. Dette representerer således et brudd på forskriften § 13-2 (2).

Jeg vil sette fingeren på to ting her:

1. Kofa starter med å refere til klagers anførsel om at 40% prisforskjell bare gir 28% poengforskjell. Vi har imidlertid i en tidligere artikkel sett hvorfor det ikke er riktig å sammenligne prosenter på denne måten. I denne konkurransen har oppdragsgiver brukt en poengskala fra 0 til 10, men mange oppdragsgivere foretrekker en poengskala som starter på 1 istedenfor. Om poengskalaen hadde gått fra 1 til 10 ville prosentmessig endring i poeng vært forskjellig. Man kunne også tenke seg en skala som gikk fra -5 til 10. Da ville 40% poengforskjell også utgjort 40% prisforskjell. Men løser det noe? Nei, resultatet blir det samme uansett hvilken skala man bruker. Kofa burde slutte å bruke irrelevante argumenter.

2. Jeg tolker dommen som om forholdsmessig modell er tillatt dersom man opplyser om dette i konkurransegrunnlaget. Det løser imidlertid ikke problemet med at modellen fortsatt gir ulik vekt for ulike tilbud. Ulik vekting er ikke galt viss det ligger en saklig begrunnelse eller et "innkjøpsfaglig skjønn" bak, men det gjør det ikke her. I forholdsmessig modell får tilbud med lav pris høy vekt på pris, og tilbud med høy pris får lav vekt på pris. Dette er det motsatte av hva som er realistisk. En tilbyder kan dermed oppgi en svært høy pris, og nesten ikke straffes for det i evalueringa.

Det er alltid hyggelig når offentlig bruk av pseudovitenskap blir kjent ulovlig. Om denne dommen fører til mindre bruk av slike modeller, er dette en gledens dag. Jeg frykter imidlertid at dette ikke vil skje. Istedenfor er jeg redd for at mange enten går over til å bruke alternative modeller som har enda større svakheter, eller at man låser seg til forholdsmessig modell. Hvor gode relative modeller er varierer som nevnt over fra situasjon til situasjon. Og skal man bruke slike modeller, er det derfor en fordel å kunne velge modell etter at man vet hvordan situasjonen faktisk er. Om det ikke lenger skal være tillatt, vil vi kanskje få se flere dårlige kontraktstildelinger, da man ikke lenger kan bytte modell om man ser at resultatet blir urimelig.

Poengsetting av pris eller prissetting av kvalitet?

I denne artikkelen har vi fokus på teori. Vi ser på et stort og viktig spørsmål i debatten om evalueringsmodeller: nemlig om man bør poengsette pris eller prissette kvalitet. Konklusjonen er at dette spørsmålet ikke er så viktig likevel, fordi modellene alltid kan regnes om. Vi ser deretter på hvordan de to vanligste poengmodellene kan omregnes til prisform.

Målet med en evalueringsmodell er å sammenligne en oppgitt pris med et eller flere kvalitetskriterier. Kvalitetskriteriene er gjerne evaluert til en eller annen poengscore, og da er spørsmålet hva man skal gjøre for å kunne sammenligne disse poenga med prisen. Dette kan man gjøre på en av tre måter:

• Prisen kan regnes om til poeng
• Kvalitetspoengene kan regnes om til pris
• Eller man kan se på forholdet mellom pris og kvalitet

I denne artikkelen vil vi se på de to første av disse metodene. Mange ser på disse to metodene som helt forskjellige modeller, men ei slik betrakning er feilaktig. Jeg vil gjerne få komme med følgende påstand:

Om man velger å poengsette pris eller prissette kvalitet har ingenting å si. Alle evalueringsmodeller kan formuleres på begge måter, og de vil gi samme resultat uavhengig av hvilken form de blir presentert i.

Så hva bør man da gjøres?

Mange innkjøpere synes det er enklest å forholde seg til poengmodeller. Da kan man oppgi prosentvise vekter for de ulike tildelingskriteriene, og man slipper å måtte forholde seg til hvor mye hvert kvalitetspoeng er verdt i kroner.

For tilbyderne er det imidlertid likegyldig om pris vektes til 30 eller 70 prosent. Det de er opptatt av, er hvordan de kan komme bedre ut i konkurransen. En tilbyder kan anslå hvor mye det vil koste for han å tilby en høyere kvalitet. Og da vil han gjerne vite om han kommer bedre ut i konkurransen ved å øke kvaliteten, og samtidig øke prisen med det den bedre kvaliteten koster.

For tilbyderne er det derfor enklest om evalueringsmodellen er presentert på prisform. Om den ikke er det, må de sjøl tolke og regne på den for å omjustere abstrakte prosenter til tall som kan brukes til noe.

Et anna problem med poengform er at kompleksiteten blir skjult. På prisform er det mye enklere å se hva som egentlig skjer. Om man f.eks. ser at hvert kvalitetspoeng blir verdsatt til flere millioner kroner, bør det absolutt ringe ei bjelle, og man må undersøke om modellen gjør det man egentlig vil. På poengform vil man ikke oppdage slike urimeligheter like lett.

Men man kan jo også få det beste fra begge verdenene: Det er ingenting i veien for at en etat kan bruke poengform internt til å fastsette prisen per kvalitetspoeng. Deretter kan modellen regnes om til prisform før den blir publisert.

Omregning fra poengform til prisform

Det er sikkert noen lesere som ikke trur meg når jeg sier at alle modeller kan regnes om til prisform, så la meg vise det for noen mye brukte poengmodeller. Utgangspunktet er en generell poengmodell på følgende form:


der p og k er hhv. prispoeng og kvalitetspoeng, mens vp og vk er vektene som hører til. Vi ønsker å regne denne om til prisform istedenfor:
 
der P er tilbudspris og c er pris på kvalitet. k er fortsatt kvalitetspoeng.

Legg her merke til at på poengform går kontrakten til tilbyderen med flest poeng. På prisform går kontrakten til den med lavest justert pris.

For å regne om til prisform er det nyttig å stille oss spørsmålet hva pris på kvalitet egentlig uttrykker. Pris på kvalitet er vår verdsetting i kroner av hvert enkelt kvalitetspoeng. Hvor mye ett kvalitetspoeng er verd. Eller for å si det litt mer komplisert: Viss antall kvalitetspoeng øker eller minker med ett poeng, hvor mye måtte tilbudsprisen ha vært justert for at tilbudet skulle blitt evaluert til å være nøyaktig like bra eller dårlig som før? Dette er det samme som å spørre etter den deriverte av prisen med hensyn på kvaliteten. Og denne finner vi enklest ved hjelp av implisitt derivasjon.

1. Forholdsvis modell

En forholdsvis modell kan uttrykkes som følgende på poengform:



der PL er laveste pris, KB er beste kvalitet, a er antall trinn på poengskalaen og b er laveste trinn på poengskalaen.

Implisitt derivasjon gir:



som kan ordnes til:


Dette er da et uttrykk for prisen per kvalitetspoeng, c. Setter vi dette inn i den generelle prismodellen, får vi:



 Merk at jeg ikke på noen måte vil anbefale denne modellen. Jeg viser bare hva som er mulig å gjøre. Svakhetene til modellen kommer jo også klarere fram på prisform:

• Pris på kvalitet varierer fra tilbud til tilbud. Jo høyere pris et tilbud har, jo mer vil kvaliteten verdsettes. Og økninga er eksponentiell
• En lav laveste pris blåser opp kvalitetsprisen til sinnsyke dimensjoner

2. Lineær modell

La oss nå gjøre de samme beregningene for en lineær modell. Dette er den typen modell der man alltid gir laveste poeng til høyeste pris, og høyeste poeng til laveste pris. Modellen kan da se ut sånn som dette:


der PH er høyeste pris, og ellers betyr symbolene det samme som tidligere.

Implisitt derivasjon gir:


Som kan ordnes til:


En fordel med denne modellen er altså at pris på kvalitet blir lik for alle tilbuda. Men den avhenger av forskjellen mellom høyeste og laveste pris. Får man uforutsett lav eller høy spredning her, blir resultatet uforutsigbart.

Også her kan vi sette uttrykket inn den generelle prismodellen:

3. Lineær modell med absolutt poengskala

For å få modellen over mer forutsigbar, bør man på forhånd definere hvilke priser som skal gi høy og lav poengsum. Dvs. å fastsette dette allerede under utarbeidelsen av konkurransegrunnlaget. Selv om man da kan oppleve at enkelte tilbud har priser som ligger over eller under det intervallet man har valgt, er ikke det problem. (Økonomisk sett i alle fall. Hva Kofa kommer fram til er en annen sak.)

Viss modellen da regnes om til prisform, blir den veldig mye forenkla. Man ender opp med følgende formel, der c nå er et enkelt, konstant tall:



La oss ta et eksempel: Tenk deg en konkurranse der pris skal vektes 40% og kvalitet skal vektes 60%. Vi definerer at en pris på 500 000 skal gi 6 poeng, mens en pris på 2 000 000 skal gi ett poeng. Skalaen har dermed fem steg (seks minus en), og vi kan beregne pris på kvalitet til:

Prisen på 450 000 kroner per kvalitetspoeng er dermed det eneste vi trenger å skrive i konkurransegrunnlaget

Denne modellen oppfyller ikke krav som økonomer vanligvis stiller til "avtagende grensenytte". Men den løser alle de store problema som skaper trøbbel i de tradisjonelle poengmodellene.

Oppsummering

Poengmodeller er nesten enerådende innen offentlige anskaffelser i dag. I denne artikkelen har vi sett på hvordan de to mest vanlige poengmodellene kan omskrives til å uttrykke pris på kvalitet. Å regne ut pris på kvalitet er viktig av to grunner: Delvis fordi det hjelper tilbyderene til å levere bedre tilbud, og delvis fordi det hjelper innkjøpere til å avdekke svakheter i evalueringsmodellen.

Vi så at pris på kvalitet i begge modellene er avhengig av egenskaper ved andre tilbud enn det vi i øyeblikket evaluerer, og at det gjør prisen per kvalitetspoeng - og dermed resultatet av evalueringa - uforutsigbart.

I den lineære modellen kan dette løses ved å definere poengskalaen på forhånd. Modellen ender da opp som verdens enkleste evalueringsmodell: ett tall.

Oppjustering av kvalitet

I henhold til juridisk metode skal like tilfeller alltid behandles likt. I denne artikkelen vil vi imidlertid se på to tilsynelatende like saker der Kofa kommer til ulik konklusjon. Det dreier seg om kvalitetspoeng skal oppjusteres eller ikke.

I Kofa-sak 2014/22 er nemlig vurdering av kvalitetskriterium et av de mange temaene som tas opp. Eller mer konkret "leveringsevne", som er navnet på kalitetskriteriet i denne konkurransen. Oppdragsgiver Forsvarsbygg oppgav i konkurransegrunnlaget at dette kriteriet skulle vurderes på en skala fra 1 til 10.

Klager og valgt leverandør ble vurdert til å få hhv. karakterene 5,6 og 7,8 poeng. So far so good. I evalueringsmodellen blir imidlertid disse dividert med scoren til beste tilbyder, og på den måten oppjustert til hhv. 7,2 og 10 poeng. Den reelle differansen på 2,2 poeng ble dermed også oppjustert til 2,8 poeng. I praksis har altså dårligste tilbud blitt frastjålet 0,6 poeng.

Kofa gir følgende vurdering av denne praksisen:

Når tilbudenes leveringsevne skulle vurderes på en skala fra 1-10, er imidlertid utgangspunktet at hele skalaen skal benyttes. Det blir dermed feil å vurdere klagers tilbud prosentmessig ut fra valgte leverandørs tilbud, i stedet for fra sin innplassering på skalaen. Måten innklagede har justert poengsummene på, kan derfor ha hatt betydning for bedømmelsen av tilbudenes poeng under tildelingskriteriet "Leveringsevne".

Og her støtter jeg Kofa fullt ut. Den type oppjustering som Statsbygg her foretok blir helt vilkårlig, og vil avhenge av hva som tilfeldigvis er beste leveringsevne blant de tilbuda som tilfeldigvis kom inn. En slik tankegang har mer til felles med bingo enn med evaluering.

Det er imidlertid et skjær i sjøen, og skjæret heter sak 2011/201.

I denne saken blir Hordaland fylkeskommune sin kollektivdivisjon Skyss innklagd blant anna for at de nettopp ikke har gjort ei sånn oppjustering av kvalitetskriteriene. Skyss skriver i sitt tilsvar om klagen:

Også for tildelingskriteriene miljø og kvalitet var det mulig å oppnå seks poeng. At ikke noen av tilbudene faktisk oppnådde seks poeng på disse kriteriene berodde på tilbudenes innhold, og har ikke noe med modellen som sådan å gjøre.

Dette er kloke ord fra Skyss. Begrunnelsen er også temmelig lik Kofa sin begrunnelse i saken over.

Klager er naturlig nok uenig i dette, og legger ved en tabell der de prøver å regne ut "reelle" vekter. Når ingen tilbud fikk toppscore på kvalitetskriteriene, fører det naturlig nok til at det blir gitt ut færre poeng totalt for disse kriteriene enn om noen faktisk hadde fått toppscore. I tabellen regner de ut at kvalitetspoengene etter vekting bare utgjør 37% av de samla poengene, og sammenligner det mot 40% oppgitt vekt i konkurransegrunnlaget.

Kofa skriver i sin avgjørelse:

I foreliggende sak har innklagede opplyst at det ble gitt toppscore til beste pris under det enkelte underkriterium til priskriteriet, mens det under "kvalitet" og "miljø" ble foretatt en mer skjønnsmessig vurdering, og hvor ingen av tilbyderne oppnådde seks poeng på noen av underkriteriene. Begrunnelsen for dette er at innklagede la til grunn at det var mulig å tilby bedre på tildelingskriteriene "kvalitet" og "miljø", altså at tilbudene på disse kriteriene ble målt mot et "idealtilbud". Innklagede har dermed brukt en annen metode ved poengsettingen av miljø og kvalitet enn ved poengsettingen av pris. 

Klagers oversikt viser uansett at evalueringen har gitt et resultat hvor konkurransegrunnlagets vektingstall som sitert ovenfor under premiss (3) under punkt 4.2, ikke er fulgt. "Pris" var i konkurransegrunnlaget gitt vektingstall 60 prosent, men ble i stedet faktisk vektet som 63 prosent. "Kvalitet" skulle vært vektet 30, men ble gitt vektingstall 28 prosent. "Miljø"skulle vært vektet ti prosent, men ble gitt vektingstall ni prosent. Slike forskjeller kan ha påvirket resultatet av tilbudsevalueringen, slik klager har påvist. Klagenemnda finner etter dette at innklagede har brutt kravet til forutberegnelighet i loven § 5 ved å benytte en evalueringsmetode som har forskjøvet vektingen av tildelingskriteriene.

Dette er altså samme type modell som i saken over. Begge modellene gir toppscore til beste pris, men Kofa kommer likevel til motsatt konklusjon når det gjelder kvalitet. Og jeg sliter veldig med å se hvorfor. Men årsaken ligger muligens i ordvalget oppdragsgiverne har brukt i konkurransegrunnlaget.

Forsvarsbygg skriver f.eks.:

Det vil bli satt poeng fra 0 til 10 poeng. 10 poeng gis leverandører med svært god redegjørelse på leveranseevne og 0 poeng gis leverandører som ikke dokumenterer leveranseevne

Skyss har ikke noe tilsvarende avsnitt i konkurransegrunnlaget sitt. De skriver bare hva slags kvalitetskriterier som skal telle, men ikke noe om hva som egentlig kreves for å få toppscore.

Jeg synes likevel det er underlig av Kofa å behandle disse tilfellene ulikt. Selv om ordvalg og framstilling er litt forskjellig mellom Forsvarsbygg og Skyss, så tolker jeg det som om meninga er den samme.

Konklusjonen blir i så fall at alle innkjøpere bør være nøye med å presisere at toppscore bare gis til tilbydere som faktisk er gode. På den måten slipper man å måtte gi toppscore til en tilbyder som ikke fortjener det.

Om noen av leserne har ei anna forklaring på hvorfor disse tilsynelatende identiske modellene ikke behandles likt av Kofa, så syng gjerne ut i kommentarfeltet.

Juridiske byggesteiner av luft

Den evalueringsmodellen som sannsynligvis er mest brukt i offentlige anskaffelser ser matematisk ut som følgende (ved to tildelingskriterium):



der a, b, c og d er konstanter, [Laveste pris] er prisen til det billigste tilbudet, og [Beste kvalitet] er kvalietspoengene til tilbudet med best kvalitet.

Å se hele modellen på en gang kan skremme den beste, men det sentrale i modellen er konseptet laveste pris delt på pris. Modellen har den egenskapen at den gir en score på en fastsatt skala mellom d og d + a til hvert tilbud.

Sia modellen er så mye brukt, er det også skrevet mye om den, og den er ganske mye kritisert. Den har to store svakheter som skaper masse problem:

• Invers pris brukes som tildelingskriterium
  Dette gjør at priskriteriet får for mye betydning for lav pris, og for lite betydning for høy pris.
• Laveste pris (multiplisert med en konstant) brukes som vekt på priskriteriet
  Eller sagt med andre ord: vektene er fastsatt ved loddtrekning. I tillegg går det an å jukse med loddene.

Jeg vil gjerne sammenligne denne modellen med statusen homeopati har innen medisin: Det er ikke bevist at den virker, og viss man ser på teorien bak, så er det umulig at den kan virke. Den bryter med omtrent samtlige av de grunnleggende innkjøpsprinsippene, og i tillegg bryter den med hele poenget bak å publisere evalueringsmodeller.

Det er derfor naturlig at modellen flere ganger har vært klagd inn for Kofa. Og etter gjeldende rettspraksis ser det ut til at den stort sett godkjennes, unntatt i de situasjonene der den har gitt et åpenbart hinsides resultat.

Jeg har lenge undra meg over hvordan en slik tallmagi som modellen uttrykker kan passere gjennom klagenemnda år etter år uten at noen sier stopp. Det er derfor interessant å se på Kofa sin begrunnelse for at modellen vanligvis godtas.

Den juridiske metoden er sånn at tidligere avgjorte saker er en vesentlig kilde til hvordan framtidige saker skal avgjøres. Når noen klager på en evalueringsmodell, henviser Kofa derfor ofte til sak 2011/176. I denne saken blir Helse Vest i Stavanger klagd inn av VWR International AS. Helse Vest har her brukt en variant av modellen over, og klager mener modellen "som er benyttet i konkurransen er uforutsigelig (...) og åpner for illojal tilpasning." Og det er jo helt riktig.

Men Kofa godtar modellen. De har ikke noen egentlig begrunnelse for dette, men henviser istedenfor til sak 2008/67. Der har de tidligere godtatt en lignende modell, og juridisk metode tilsier at da må samme modell godtas denne gangen også.

Problemet er at heller ikke sak 2008/67 har noen ordentlig begrunnelse for hvorfor modellen skal godtas. Derimot henviser denne saken tilbake til sak 2006/90, og her finner vi endelig en slags begrunnelse. Kofa skriver (mi utheving): 

En forutsetning for å komme frem til hva som er det beste tilbudet under hvert av tildelingskriteriene, er at det først foretas en vurdering og sammenligning av samtlige kvalifiserte tilbud. Om innklagede velger å gi de øvrige tilbudene poeng regnet i prosent av det beste tilbudet, vil også denne fremgangsmåten være egnet til å premiere relevante forskjeller mellom tilbudene og utpeke det beste tilbudet. På basis av dette har klagenemnda ikke innvendinger mot den poengfastsettingsmåte innklagede har benyttet.

Det går ikke klart fram fra sitatet over, men basert på konteksten det står i, så ser det ut til at sitatet gjelder priskriteriet.  

Det første en i så fall bør legge merke til her, er at Kofa har misforstått hvordan modellen fungerer: De øvrige tilbudene regnes ikke i prosent av det beste tilbudet når det gjelder pris, som Kofa hevder. Derimot er det det beste tilbudet som regnes i prosent av de øvrige. Den første metoden ville gitt en lineær modell, og altså unngått problemet med invers pris.

Dernest kan en legge merke til at det egentlig er ganske fraværende med begrunnelser her. Det eneste vi finner er et forutbestemt premiss (den utheva teksten), men det er ingen forklaring på hvorfor premisset skal stemme. Prosenter er, som vi har sett tidligere, tveegga sverd. I tillegg kan altså ikke premisset brukes i denne situasjonen.

Når vi har å gjøre med en modell som har fått så til de grader slakt i litteraturen, er det ganske oppsiktsvekkende at Kofa ikke gir en skikkelig begrunnelse. Hvor er utregningene, figurene, eksemplene, henvisningene til vitenskapelige artikler og forskning?

I sak 2006/90 har altså Kofa fatta ei ubegrunna beslutning på feil grunnlag. Seinere dommer bygger videre på denne beslutninga, og det kommer stadig nye dommer som bygger videre på dem som bygger videre på dem som bygger på sandgrunn. Stein på stein bygger man et juridisk luftslott.

I luftslottets krinker og kroker kan man boltre seg i metervis med meningsløse utredninger og drøftinger om modellen. Og i hver drøfting er man på jakt etter det store spørsmålet: Har modellen gitt et fornuftig resultat i akkurat denne situasjonen? Eller som Kofa sier det: Er vektene forskjøvet?

Det blir mye god advokatmat av luftslott, men det blir ikke så god samfunnsøkonomisk ressursbruk av det. Og det er egentlig mer skremmende enn selve formelen.

#OffentligeAnskaffelser #Kofa #Evlueringsmodell #Mikroøkonomi

Kommunen med like mange hager og parker

Kofa-sak 2013/127 11. desember 2014 handler om at Omsorgsbygg Oslo KF skal inngå rammeavtale om kontroll av diverse utstyr på eiendommene sine. Tilbyderne bes fylle ut et prisskjema med fire poster:

• Pris for tilstandsrapport, per barnehage
• Pris for tilstandsrapport, per barnepark
• Pris for kontrollrapport, per barnehage
• Pris for kontrollrapport, per barnepark

De opplyser ikke i konkurransegrunnlaget hvordan prisene skal vektes sammen. Men de gir ei forklaring på hvordan dette ble gjort etter at kontrakten var tildelt. De skriver der at prisene rett og slett bare ble lagt sammen uten noen som helst vekting.

Lekeplasskontrollen DA klager dette inn til Kofa. De mener at det blir feil å bare legge prisene sammen. For å få en riktig totalpris, mener de, må prisene først multipliseres med hhv. antall barnehager og antall barneparker.

Klager har her selvfølgelig helt rett. Ved å ikke foreta sånn vekting, forutsetter Omsorgsbygg Oslo at de har like mange barnehager og barneparker. Det er urimelig.

Kofa gir da også medhold til klager. De viser til en dom fra EU-domstolen som omhandler vekting av underkriterier etter tilbudsfristen. Her går det fram at dette bare kan gjøres viss det "ikke indeholder forhold, som, hvis de havde været kendt på tidspunktet for forberedelsen af buddene, kunne have haft indflydelse på denne forberedelse ". Kofa konkluderer derfor med følgende:

At denne informasjonen ikke ble gitt til tilbyderne på tidspunktet for forberedelse av tilbudene, innebærer således et brudd på kravet til forutberegnelighet i loven §5.
 
En god avgjørelse fra Kofa.

Omgang med relative tall

Sak 2012/185 fra Kofa 19. mai 2014 handler om innkjøp av byggeledertjenester til Moss kommunale eiendomsselskap. Eiendomsselskapet brukte der en evalueringsmodell med poengsetting av pris. Prispoenga ble regna ut etter en linear, relativ modell basert på høyeste og laveste pris:

Det er kanskje ikke så lett å se det fra formelen, men den innebærer at prisene ble gitt en karakter på en skala fra 1 til 6, der 6 er best.

Følgende tilbud kom inn:

	Pris	Prispoeng
Rambøll Norge AS	876 350	5,48
Sweco Norge AS	3 758 380	1,00
EVR Norge AS	898 170	5,44
Stema Rådgivning AS	750 000	5,67
Haga & Hågensen AS	733 900	5,70
Reinertsen AS	1 967 460	3,78
Faveo Prosjektledelse AS	540 000	6,00
A. L. Høyer Askim AS	768 000	5,65
Opak AS	1 407 640	4,65
HR Prosjekt AS	932 000	5,39

(En trykkfeil/regnefeil i dokumentet fra Kofa er her retta.)

Faveo Prosjektledelse AS klager evalueringa inn til Kofa, med den begrunnelse at poengregelen ikke fanger opp relevante forskjeller. Dobling av pris fører f.eks. ikke til dobling av poeng, noe de mener er ulovlig. I tillegg hevdes det at skalaen er for kort. Når poengskalaen bare går fra 1 til 6, får hvert poeng for mye å si.

Kofa godtar argumentene fra klager, og stempler modellen som ulovlig. I avgjørelsen skriver de:

Klagenemnda utelukker ikke at en slik evalueringsmodell kan være egnet til å premiere relevante forskjeller i de tilbudte prisene. Men i den foreliggende saken var prisforskjellen meget stor mellom billigste og dyreste tilbud, i tillegg til at innklagede benyttet en poengmodell med få trinn. Selv om innklagede brukte to desimaler i angivelsen av karakterpoengene for "Pris", var det bare fem karakterintervaller i poengmodellen. Hvert intervall, dvs. forskjellen mellom hver poengkarakter, utgjorde dermed kr. 643 676,-, hvilket til og med var mer enn laveste tilbudte pris. Slik nemnda forstår det, førte dette til at 100 % høyere pris enn laveste tilbudte pris, avstedkom en poengreduksjon på kun omtrent 15 %. Valgte leverandør tilbød 42 % høyere pris enn klager, men fikk bare 6 % lavere poengscore. Modellen har således ikke premiert relevante forskjeller i tilbudene i denne saken.

Denne begrunnelsen er noe underlig. Det første som en underlig er at Kofa ser på det som et problem at modellen har få "trinn". Det er nemlig alltid et uendelig antall tall mellom alle tall, og en skala fra 1 til 6 kan uttrykke like store forskjeller som en skala fra 1 til 100. Hvorfor mener Kofa det er relevant hvordan modellen er skalert?

Også det neste argumentet høres tvilsomt ut. Kofa ser på det som et problem at 42% høyere pris bare gir 6% lavere score. Men gjør det noe? Tenk deg f.eks. en konkurranse der man får inn tre tilbud med priser på 300 000, 200 000 og 100 000. Og la oss videre si at vi har en evalueringsmodell der disse tilbuda får hhv. 1, 2 og 3 prispoeng. Her ser vi at 100% økning av pris fra 100 000 til 200 000 gir en reduksjon i prispoeng på 33%.

Men hva så om vi heller hadde gitt prispoeng på 101, 102 og 103 til de samme tilbuda? Nå vil 100% økning i pris gi under 1% reduksjon i prispoeng. Det høres jo veldig lite ut, og må vel bety at den siste modellen ikke fanger opp relevante forskjeller? Jeg blir da frista til å omskrive et kjent sitat fra TV-programmet Folkeopplysningen:

I omgang med relative tall blir hjernen ofte lurt.

For modellene er matematisk identiske, og vil gi samme resultat i evalueringa. I ei ulikhet kan vi nemlig alltid legge til og trekke fra samme tall på begge sider uten at rangeringa forandres. Prosentvis endring i prispoeng er altså irrelevant, og heller ikke noe argument i mot den aktuelle evalueringsmodellen.

Men selv om begrunnelsen fra Kofa ser rimelige svak ut, er det ikke noe i veien med konklusjonen. Moss kommunale eiendomselskap sin metode gir alltid 6 poeng til laveste pris og 1 poeng til høyeste pris. Uansett hvor stor prisforskjellen mellom tilbuda egentlig er. En prisforskjell på f.eks. 100 000 vil altså bli sett på som likeverdig med en prisforskjell på 100 millioner! Den fanger ikke opp forskjeller mellom høyeste og laveste pris i det hele tatt! Men den fanger opp forskjeller for priser som ligger i mellom. Her har vi altså både et brudd på prinsippet om at man skal ta hensyn til relevante forskjeller, og til prinsippet om likebehandling.

Det er synd at Kofa ikke hadde en bedre begrunnelse for vedtaket. Men forhåpentligvis fører vedtaket likevel til at denne modellen ikke blir brukt igjen.