Notat fra Cevea

Evaluering af a-kasseforsøget viser præcist … ingenting

Der kan ikke drages nogen som helst håndfaste konklusioner af den evaluering af a-kasseforsøget, som STAR offentliggjorde i november. Det konkluderer tænketanken Cevea efter en kritisk gennemgang af evalueringsmetoden. ’Men DA og KL vælger at læse evalueringen, som Fanden læser Bibelen,’ siger Verner Sand Kirk, direktør i Danske A-kasser

Et tomt stykke papir og flere sammenkrøllede papirer

Siden slutevalueringen af a-kasseforsøget blev offentliggjort af Styrelsen for Arbejdsmarked og Rekruttering (STAR) i midten af november, har den givet genlyd i medierne. Fortællingen har været, at evalueringen viser, at a-kasserne er dårligere end jobcentrene til at få de ledige i arbejde.

Det har i hvert fald været både Dansk Arbejdsgiverforenings (DA) og KLs udlægning. Og begge parter har været ude med krav om, at kontaktforløbet i de første tre måneders ledighed ikke bør foregå i a-kasserne fra 1. januar 2024, som det politisk er vedtaget.

For sandheden er, at den evaluering, som de to professorer Michael Rosholm og Michael Svarer har udarbejdet, på ingen måde kan udlægges, som fx DA og KL har gjort
Verner Sand Kirk

En udlægning og et krav, som Verner Sand Kirk, direktør i Danske A-kasser, mener er skudt helt ved siden af:

”For sandheden er, at den evaluering, som de to professorer Michael Rosholm og Michael Svarer har udarbejdet, på ingen måde kan udlægges, som fx DA og KL har gjort. Faktisk viser evalueringen ingenting, og så bliver jeg altså lidt harm, når det er en helt anden historie, der fortælles i medierne,” siger Verner Sand Kirk.

Cevea har gennemgået metoden

DAK-direktøren har noget at have sin kritik i, for på opdrag fra Danske A-kasser har tænketanken Cevea gennemgået evalueringen metodisk set.

Læs notatet: Evaluering af a-kasseforsøget viser præcist … ingenting 
 

Min konklusion er i grunden slet ikke så opsigtsvækkende, for det står også i rapporten – den viser ingenting.
Asbjørn Sonne Nørgaard

Og som direktør i Cevea, Asbjørn Sonne Nørgaard, siger, så er der en del at komme efter med hensyn til metoden.

”I vores notat har vi dog fokuseret på det mest i øjenfaldende og koncentreret os om de mest oplagte grunde til, at man ikke kan drage nogen som helst håndfaste konklusioner af den evaluering. Min konklusion er i grunden slet ikke så opsigtsvækkende, for det står også i rapporten – den viser ingenting. Den konklusion kunne Svarer og Rosholm til gengæld godt have skrevet på side 1, så var megen forvirring undgået,” siger Asbjørn Sonne Nørgaard, og nævner som eksempel det forhold, at man i evalueringen har målt på beskæftigelseseffekten hele 52 uger efter påbegyndt ledighed.

”Men da a-kasserne i forsøget kun har ansvaret for kontaktforløbet med de ledige i de første 13 uger, og det derefter er jobcentrene, der overtager indsatsen, så giver det da ingen mening at måle beskæftigelseseffekten et helt år efter, hvis man vil se på, hvem der gør arbejdet bedst. Det havde givet meget mere mening at måle fx 26 uger efter påbegyndt ledighed, som man også gjorde i midtvejs-evalueringen. En evaluering som i parentes bemærket faldt ud til a-kassernes fordel. Men resultaterne ville også have været anderledes i slutrapporten, hvis man havde holdt sig til den mere rimelige afgrænsning og fokuseret på 26 uger eller måske endda 18 eller 20 uger.”

Som Fanden læser Bibelen

Verner Sand Kirk understreger, at det i mindre grad er selve evalueringen, han kritiserer, selv om den metodisk ikke er særlig stærk. 

”Hvis man nærlæser rapporten, så kan man se, at Rosholm og Svarer faktisk tager forbehold undervejs, men det er jo lige meget, når sådan nogen som DA og KL får frit løb til at læse rapporten, som Fanden læser Bibelen,” siger Verner Sand Kirk.

DAK vil have saglighed ind i debatten

DAK-direktøren siger, at årsagen til, at Danske A-kasser er gået så langt, som til at få lavet et responsum om de metoder, der er blevet brugt til at evaluere a-kasseforsøget, er, at evalueringen er en del af det input, som Ekspertgruppen for fremtidens beskæftigelsesindsats arbejder med.

Men undskyld mig, hvis formanden for hele arbejdet med fremtidens beskæftigelsesindsats også taler om negative effekter i a-kasserne, så er vi altså nødt til at få frem i lyset, hvad evalueringen rent faktisk siger.
Verner Sand Kirk

”Ekspertgruppens formand Claus Thustrup har selv udtalt i medierne, at det ikke er uden betydning, når en ny slutevaluering af a-kasseforsøget viser negative effekter på beskæftigelsen. Men undskyld mig, hvis formanden for hele arbejdet med fremtidens beskæftigelsesindsats også taler om negative effekter i a-kasserne, så er vi altså nødt til at få frem i lyset, hvad evalueringen rent faktisk siger. Så for at få en smule saglighed ind i denne debat, har Danske A-kasser bedt Cevea-direktør og tidligere professor Asbjørn Sonne Nørgaard om at udarbejde et metodisk responsum om, hvad rapporten faktisk kan bære af konklusioner”.

Verner Sand Kirk, Danske A-kasser, Sort/hvid

Verner Sand Kirk

Direktør
46971701

De vigtigste pointer fra rapporten

Der er især fire grunde til, at evalueringen ikke kan drage nogen som helst håndfaste konklusioner om beskæftigelseseffekten:

• Jobcentrenes større effekt på beskæftigelsesgraden ses 52 uger, men ikke 26 uger efter
påbegyndt ledighed. Da a-kasserne kun har ledighedskontakten de første 13 uger, er den
mest direkte effekt af a-kassernes indsats 26 uger og ikke 52 uger efter påbegyndt
ledighed.

• Den negative beskæftigelseseffekt rapporten finder for a-kasserne, der deltager i forsøget i udvalgte kommuner (ikke-landsdækkende), er ikke robuste. Beskæftigelsesgraden er alene signifikant lavere i BUPL og FTFs a-kasser end i jobcentrene, mens der ikke er signifikante effekter for HK, Min A-kasse, Magistrene og 3F. Effekterne er ikke entydige.

• Forskellen i beskæftigelseseffekt mellem forsøgskommuner og kontrolkommuner kan være konjunkturafhængig, hvilket ikke undersøges tilstrækkeligt i rapporten. Forudsætningen om ’parallelle trends’ i beskæftigelsen burde undersøges nøjere for de enkelte a-kasser i en længere periode med skiftende konjunkturer.

• De ledige, som jobcentrene i forsøgskommunerne overtager fra a-kasserne efter 13 uger, får en mindre indsats efter uge 13, end ledige, som sammenligningskommunerne selv har haft ansvaret for. Det kan ikke udelukkes, at denne forskelsbehandling har en negativ afsmittende effekt på a-kasseforsøget – især når der måles efter 52 uger.

Det metodiske udtryk ’signifikant’

I slutevalueringen af a-kasseforsøget optræder ordet ’signifikant’ mange gange. 

Derfor er det ifølge Verner Sand Kirk vigtigt - i forbindelse med læsning af evalueringen - at man ved, hvad det metodiske udtryk betyder: 

”Begrebet signifikant misforstås ofte. Man skal være opmærksom på, at det metodiske udtryk ’signifikant’ ikke betyder en betydelig eller markant sammenhæng, men blot at fortegnet er nogenlunde sikkert. En signifikant sammenhæng kan altså godt, som i dette tilfælde, være meget beskeden," forklarer Verner Sand Kirk.