Målinger er ikke for børnenes skyld

ECERS-3-målemetoden inddrager ikke børns perspektiver og har ikke fokus på det allervigtigste, nemlig interaktion mellem børnene og omsorg. Det skriver de tre CeDif-forskere Annegrethe Ahrenkiel, Pernille Juhl og Jan Thorhauge Frederiksen i denne modreplik til direktør Mikkel Harder, EVA og lektor Torben Næsby, UCN. De to tog til genmæle, da CeDif-forskerne kritiserede den store nationale kvalitetsmåling af daginstitutioner, som Danmarks Evalueringsinstitut gennemførte for nylig.

Af: Af Annegrethe Ahrenkiel, Lektor og Leder af Center for Daginstitutionsforskning, Roskilde Universitet, Pernille Juhl, Lektor i Psykologi, Roskilde Universitet og Jan Thorhauge Frederiksen, Lektor i Pædagogik, Københavns Universitet

Den 4. marts 2020.

Den 6. februar 2020 kritiserede vi på Altinget den store nationale kvalitetsmåling, som Danmarks Evalueringsinstitut (EVA) har gennemført for nylig. Vores kritikpunkter var blandt andet, at kvalitet ikke så enkelt at måle, og at det amerikanske redskab som EVA har valgt at bruge til denne måling - et redskab ved navn ECERS-3 - rummer mange problemer. Problemerne er bl.a. at instrumentet ikke inddrager børnenes perspektiver, og ikke har fokus på det, som er vigtigst for børnene og forældrene til disse børn, nemlig interaktion mellem børnene og omsorg.

Denne kritik fik to af de ansvarlige for undersøgelsen til at reagere, hhv. direktør for EVA Mikkel Haarder, og Lektor ved UCN, Torben Næsby . De forsvarer ikke overraskende deres arbejde med ECERS-3, og mener vores kritik er forfejlet. Næsby mener, at ECERS-3 instrumentet bestemt måler omsorg, mens Haarder mener endog, at vi med vores kritik af undersøgelsen svigter de danske børnehavebørn. Haarder mener ligeledes, at måleredskabet er pålideligt, fordi det finder udbredt anvendelse i Norge og i en stor undersøgelse gennemført af University College London. Endvidere mener Haarder, at enhver, der har fulgt debatten om kvalitet i dagtilbud vil vide, at både forskning og den politiske interesse for kvalitet hviler på sådanne undersøgelser.  

Interesse er ikke det samme som lødighed

Desværre er det ikke sådan, at den politiske interesse for en given undersøgelse borger for denne undersøgelses lødighed. Det er derimod helt almindeligt forekommende, at undersøgelser igangsættes på grund af politiske dagsordener og dermed ikke ”for børnenes skyld”. Således er fx den undersøgelse, som Haarder refererer til netop igangsat af det engelske undervisningsministerium.

Udbredt er ikke det samme som pålideligt

At dagtilbudskvalitet undersøges med ECERS-3 andre steder i verden er heller ikke det samme som at måleinstrumentet er pålideligt, eller at vi er blevet klogere på danske dagtilbud af at bruge det. ECERS-3 er et blandt mange mulige billeder af, hvad kvalitet kan være, og før vi farer i pressen med stort opslåede bekymringer, bør vi overveje om dette billede er det eneste, eller det bedste. ECERS-3 måler på mangt og meget, og det er ikke alt, der er lige tæt på, hvad daginstitutionsforskningen vil betegne som kvalitet.

Et af de 35 målepunkter i ECERS-3 er således byggeklodser. Her viser det sig i EVAs rapport, at 93% af de danske dagtilbud scorer helt utilstrækkeligt på dette punkt. Afslører dette en katastrofal kvalitetsbrist i danske dagtilbud, eller afslører det, at ECERS-3 tillægger byggeklodser en anden vigtighed, end vi generelt gør i danske dagtilbud?

I Norge har ECERS-3 og beslægtede redskaber ganske rigtigt været anvendt i adskillige store undersøgelser (GO-BAN, Blikk for Barn). Her viste det sig at væsentlige kvalitetsproblemer i de norske dagtilbud knytter sig til håndvask før og efter måltiderne. Er håndvask og hygiejne det, vi vil forstå ved kvalitet i danske dagtilbud? Hygiejne fylder betydeligt mere i ECERS-3 end fx børnenes interaktioner med hinanden eller omsorg, så hvis man ikke er enig i den vægtning, kan det være ECERS-3 er et uhensigtsmæssigt billede af kvalitet.

Observatørens eller børnenes perspektiver?

Det er diskutabelt om ECERS-3 inddrager omsorg som en del af den kvalitet, der måles. I sin kommentar til vores kritisk skriver Næsby, at omsorg står meget centralt i ECERS-3 kvalitetsbegreb, og at ECERS-3 anlægger et anerkendende og interaktionistisk perspektiv på barnet og har et udtalt barneperspektiv.

Den slags kommer jo an på det øje der ser, og det er selvfølgelig muligt at fortolke omsorg så bredt, at alt – fra ovennævnte håndvaskehygiejne til om børnehavebarnet får mulighed for at udfolde sit fulde læringspotentiale kan opfattes som omsorg.

Men vi fastholder vores kritik, fordi omsorg kun fylder ganske lidt i ECERS-3 eksplicitte kriterier for kvalitet, og ofte slet ikke er ekspliciteret. Et børneperspektiv fordrer viden om, hvad børnene er optaget af, hvad de prøver på og hvordan det går for børnene på tværs af tid og sted, at børnene bliver lyttet til og har en stemme i undersøgelsen, og dette er heller ikke tilfældet her.

Når ECERS-3 skal bedømme relationer mellem personale og børn – et oplagt sted at kigge efter omsorg – sker det gennem formuleringer som disse:

• personalet nyder at være sammen med børnene (30.3.3)

• personalet har positive samtaler med børnene (26.7.2)

Udover at man kan spekulere over hvordan en sådan nydelse og positivitet iagttages, er det jo netop ikke børnenes perspektiv, der anlægges her. Det er observatøren, der scorer institutionen med ECERS-3 skemaet, hvis perspektiv fylder her, og dennes fortolkninger af personalets adfærd og oplevelser. Om børnene oplever omsorg er ikke i fokus. For at score højt i klodser skal observatøren fx vurdere at personalet kobler skriftsprog til børnenes leg med klodser, eller om de påpeger relevante matematiske begreber på en måde, der interesserer børnene. Spurgte man børnene var det nok ikke det væsentligste kriterium for om klodselegen var god.

De voksnes adfærd er på samme måde i centrum, når det i 3 ud af 4 børnehaver vurderes som tegn på god kvalitet, at de voksne ’cirkulerer’. Det er bekymrende, fordi det at de voksne netop tager sig tid til at holde sig i ro – for eksempel ved at sidde sammen med børnene på gulvet, giver mulighed for at få indblik i, hvad børnene er i optaget af og måske har vanskeligt ved. Det er netop den viden, der kommer af iagttagelser af børn, som gør det muligt at kunne bidrage på pædagogisk relevante måder.

Interaktion mellem børnene – noget der fylder en meget stor del af børnehavebarnets dag – fylder i ECERS-3 skalaen det samme som byggeklodserne omtalt ovenfor; det er 1 ud af 35 målepunkter. Og også her er der alene tale om, hvordan observatøren fortolker interaktionerne – hvordan børnene selv oplever interaktionerne undersøges ikke. EVAs undersøgelse af daginstitutionskvalitet hviler på materiale, hvor observatører på baggrund af tre timers observationer taler på børns, pædagogers, forældres og andres vegne. Vi mener, at der er grund til at udvise en langt større ydmyghed over for, hvilke konklusioner man kan drage på baggrund af sådanne observationer.

Kvalitetsmåling bør hænge sammen med læreplanen

Næsby skriver i sin kommentar til vores kritik, at ECERS-3 resultater ikke er lig med virkeligheden i de danske dagtilbud, og kalder på faglige diskussioner. Det er vi meget enige i. Vi ville blot ønske at sådanne diskussioner foregik før udmeldinger som Haarders om, at 4 ud af 5 danske børnehavebørn ikke får styrket deres trivsel udvikling, læring og dannelse. Sådanne dramatiske udmeldinger overdøver enhver saglig diskussion om hvad kvalitet er, og skal være, i de danske dagtilbud. Denne måling er foretaget kort før den nye styrkede læreplan i dagtilbud skal evalueres, og en evaluering af pædagoguddannelsen sættes i gang. Man kunne mene at kvalitetsmålinger skulle hænge sammen med, hvad pædagoger skal lære, og hvad loven foreskriver, der skal foregå i dagtilbud, men det bliver vanskeligt, når målingen rulles ud først.

Vi har i debatten af PISA, nationale tests, trivselsmålinger med mere set, hvordan diskussionen efter målinger kommer til at handle om tallene og hvordan man kan forbedre dem - ikke om hvad det egentlig er vi forstår ved fx kvalitet. Derfor er det vigtigt først at diskutere om målingen overhovedet kan bruges. For overfladiske og forsimplede målinger gør os ikke klogere, og hvis sådanne målinger danner grundlag for dagtilbudspolitikken i Danmark, vil det have vidtrækkende konsekvens.