Open data schoolweging en referentieniveau tonen verschillen in resultaten tussen Amsterdamse basisscholen met een vergelijkbare populatie
Fragment van grafiek met open data van DUO en CBS over referentieniveau en schoolweging. Combinatie open data referentieniveau en schoolweging
In dit datablog worden open data van DUO over de referentieniveaus gecombineerd met open data van het CBS over schoolweging. De open data over schoolweging maken scholen vergelijkbaar qua populatie, althans voor wat betreft het percentage doelgroepleerlingen per school. De open data over de referentieniveaus drukken uit hoeveel procent van de leerlingen in groep 8 van een basisschool een bepaald referentieniveau heeft gehaald.
Door gegevens over referentieniveau en schoolweging te combineren wordt het mogelijk om scholen (enigszins) met elkaar te vergelijken, zowel wat betreft de leeropbrengsten als wat betreft het aandeel doelgroepleerlingen. Wanneer er sprake is van ver uiteenlopende resultaten bij een vergelijkbare populatie helpt dat bij het gesprek om de factoren achter deze verschillen te achterhalen.
Grote verschillen tussen scholen met eenzelfde populatie in Staat Amsterdamse primair onderwijs
Een concrete aanleiding om met deze open data aan de slag te gaan vormt de eerste Staat van het Amsterdamse primair onderwijs uit november 2020. De Amsterdamse schoolbesturen verenigd in het Breed Bestuurlijk Overleg (BBO) hebben dit rapport samen met de gemeente laten opstellen door de dienst Onderzoek, Informatie en Statistiek (OIS). De Staat van het Amsterdamse primair onderwijs is onderdeel van de kwaliteitsagenda van het BBO. Met dit tweejaarlijkse instrument wil het BBO aan de hand van door de inspectie gehanteerde indicatoren bevorderen dat besturen kennis delen welke elementen bijdragen aan onderwijskwaliteit.
Een opvallende bevinding uit het rapport is dat de verschillen tussen scholen met eenzelfde leerlingenpopulatie erg groot zijn. Omdat in de kwaliteitsagenda van het BBO is afgesproken dat geen verwijzingen worden opgenomen naar individuele scholen – dit ligt kennelijk te gevoelig – kunnen ouders en leerlingen in het rapport niet achterhalen hoe hun school ervoor staat in vergelijking tot een school met eenzelfde leerlingenpopulatie. OCO onderzoekt nu of met open data toch een deel van de puzzel gelegd kan worden.
Juist in moeilijke tijden ouders betrekken in gesprek over onderwijsresultaten
Wanneer ouders en leerlingen geïnformeerd worden over de resultaten van hun school in vergelijking tot scholen met een vergelijkbare populatie (qua aandeel doelgroepleerlingen), dan helpt ze dat om het gesprek aan te gaan met schoolleiding en bestuur.
Scholen die lager scoren dan scholen met een vergelijkbare populatie verdienen extra aandacht en hulp. Het is belangrijk dat ouders zicht krijgen op die hulpvraag en hun schoolbestuur erop aanspreken dat die hulp ook komt. Door ook te identificeren welke scholen het relatief goed doen wordt duidelijk bij welke scholen ze te rade kunnen gaan voor expertise. Met andere woorden, het gesprek over onderwijsresultaten is niet alleen een zaak van professionals maar ook van betrokken ouders.
Juist in deze moeilijke tijden waarin scholen worstelen met de gevolgen van corona en het lerarentekort is het belangrijk dat ouders en school niet tegenover elkaar komen te staan als de school door overmacht tijdelijk niet kan leveren wat ouders normaliter mogen verwachten. Tegenover het van ouders verlangde vertrouwen staat dan wel dat scholen open zijn over hun problemen en ouders betrekken bij het werken aan verbetering.
Nu zicht op hulpvraag, straks zicht op effecten gemeentebeleid
Zicht op de hulpvraag van scholen is ook relevant als het gaat om het onderwijskansenbeleid van de gemeente, waarbij het motto geldt ‘ongelijk investeren voor gelijke kansen’. Daarbij is dit datablog met open data van DUO en CBS een eerste stap. De hulpvraag van scholen wordt pas echt duidelijk als de gegevens uit dit datablog gecombineerd kunnen worden met gegevens over het lerarentekort en met gegevens over achterstanden die zijn ontstaan door de coronapandemie.
Door nu verschillen in rendement van qua populatie vergelijkbare scholen zichtbaar te maken kan over enige tijd ook vastgesteld worden of de scholen elkaar hebben kunnen helpen om de gaten te dichten. Hetzelfde geldt voor de vraag of de investeringen van de gemeente vruchten afwerpen.
Open data onderwijsresultaten als hulpmiddel voor dialoog
Bij dit alles moet wel aangetekend worden dat de gepresenteerde open data slechts een hulpmiddel zijn om het gesprek op gang te brengen.
De open data kunnen niet het kwaliteitsoordeel van de inspectie vervangen, dat behalve op onderwijsresultaten ook gebaseerd is op onderzoek naar schoolorganisatie, didactiek en veiligheid. Ook zijn de open data in de gepresenteerde vorm niet bedoeld om scholen mee te ‘ranken’ (ranglijst maken).
Dat zou niet correct zijn omdat de open data slechts gemiddelden geven per school en geen informatie bevatten over de spreiding van de resultaten onder leerlingen (standaarddeviatie). Bijvoorbeeld of alle leerlingen ongeveer dezelfe score hebben behaald, of dat het gemiddelde de uitkomst is van een aantal hoog scorende en een aantal laag scorende leerlingen.
Bovendien hebben de cijfers betrekking op de periode 2017-2019. Inmiddels kan er op een school alweer veel veranderd zijn, zeker door het lerarentekort en corona.
Een andere complicerende factor is dat de registratienummers van scholen die DUO hanteert voor de open data, de zogenaamde brinnummers, door de jaren heen soms veranderen. Bijvoorbeeld als een school krimpt en ophoudt een zelfstandige vestiging te zijn en dependance wordt van een andere school, of als een school een dependance heeft met een sterk afwijkende populatie.
Ook DUO zelf plaatst een disclaimer bij de open data vanwege (ondermeer) softwarematige registratieproblemen. Kortom, open data benaderen de werkelijkheid maar vertellen niet het hele verhaal. Daarom zijn open data ongeschikt om scholen zonder nader onderzoek op af te rekenen.
Naast het voorbehoud omtrent de accuratesse van de open data is er ook bestuurlijke en wetenschappelijke discussie over de vraag of toetsen om leervorderingen te meten (on)geschikt zijn om uitspraken te doen over de onderwijskwaliteit van een school.
Grafieken en tabel
In de eerste grafiek wordt het percentage leerlingen dat referentieniveau 1F haalt weergegeven, verdeeld over tien vergelijkingsgroepen. Het betreft een driejaarsgemiddelde over de periode 2017-2019 waarbij het gemiddelde is genomen voor de domeinen rekenen, taalverzorging en leesvaardigheid.
De tweede grafiek toont het percentage leerlingen dat referentieniveau 1S/2F haalt, wederom verdeeld over tien vergelijkingsgroepen en als driejaarsgemiddelde over dezelfde periode en dezelfde domeinen.
De gegevens die verwerkt zijn als gemiddelde score in de tweede grafiek worden daaronder apart getoond in een tabel, deze is te filteren op schoolbestuur of stadsdeel.
Na de grafieken en tabel volgt nog een kader met verantwoording en technische uitleg.
Terminologie en verantwoording
Geen beschikking meer over afzonderlijke gegevens gewichtenleerlingen en niet-gewichtenleerlingen
In het verleden ontwikkelde OCO een overzicht van leerrendementen opgesplitst in scores van gewichtenleerlingen en niet-gewichtenleerlingen aan de hand van gegevens van DUO. Doel hiervan was zichtbaar te maken of scholen erin slagen om de achterstanden van hun gewichtenleerlingen weg te werken en met deze 'doelgroepleerlingen' voor de eindtoets een score te halen die rond het landelijk gemiddelde ligt.
Sinds de invoering van een nieuwe gewichtenregeling kan DUO deze data niet meer leveren. Onder de oude gewichtenregeling registreerden scholen het opleidingsniveau van de ouders om een leerlinggewicht te bepalen. Onder de nieuwe regeling berekent het CBS een schoolweging aan de hand van gegevens over opleiding, herkomst en schuldsanering van de ouders op de betreffende school.
Helaas blijft hierbij wel onduidelijk wat per school het aandeel is in de resultaten van leerlingen met een grote kans op achterstanden (vroeger aangeduid als gewichtenleerlingen, tegenwoordig als doelgroepleerlingen) en meer bevoorrechte leerlingen (vroeger aangeduid als niet-gewichtenleerling). Scholen weten zelf niet meer wie hun afzonderlijke gewichtenleerlingen zijn. Al moet gezegd worden dat sommige bestuurders stellen dat scholen daar ook in het verleden niet bewust mee bezig waren. Hoe dan ook, OCO blijft zoeken naar manieren om ouders en leerlingen van relevante informatie te voorzien over de resultaten van hun scholen.
Het fundamentele niveau 1F
De genoemde niveaus zijn een onderdeel van het referentiekader Nederlandse taal en rekenen dat door de overheid is vastgesteld. Referentieniveaus schrijven voor wat leerlingen moeten kennen en kunnen aan het eind van een opleiding. Het fundamentele niveau 1F is de basis die zo veel mogelijk leerlingen moeten beheersen. Over dit niveau is door de Inspectie van het Onderwijs bepaald dat het voor minimaal 85 procent van de leerlingen aan het einde van de basisschool haalbaar moet zijn, ongeacht het aandeel risicoleerlingen op een school.
Het streefniveau 1S/2F
Het streefniveau 1S/2F is voor leerlingen die meer aankunnen. Dit niveau moet voor minimaal 65 procent van de leerlingen haalbaar zijn. Om scholen met veel risicoleerlingen tegemoet te komen, hanteert de inspectie voor het streefniveau 1S/2F een omrekentabel. Telt een school relatief veel leerlingen met risico op een onderwijsachterstand, dan geldt een andere ondergrens en hoeven minder leerlingen niveau 1S/2F te halen. Telt een school evenwel weinig van deze leerlingen, dan ligt de lat hoger. De hoogte van de lat varieert tussen 30 procent (voor de scholen met het grootste aandeel risicoleerlingen) en 67 procent (voor de scholen zonder risicoleerlingen).
De schoolweging
Amsterdam telt veel risicoleerlingen. Het zijn leerlingen die vanwege omstandigheden thuis risico lopen op onderwijsachterstand, bijvoorbeeld omdat de ouders weinig scholing hebben gehad, of omdat er thuis geen Nederlands gesproken wordt. Het aandeel risicoleerlingen op een school wordt aangeduid door de schoolweging. Hoe meer risicoleerlingen, des te hoger is de schoolweging. De schoolweging loopt van ongeveer 20 (geen risicoleerlingen) tot ongeveer 40 (bijna alleen maar risicoleerlingen). De schoolweging wordt jaarlijks voor elke basisschool door het Centraal Bureau voor de Statistiek (CBS) vastgesteld.
Volgens OIS zijn er aanzienlijke rendementsverschillen tussen Amsterdamse basisscholen
OIS, het onderzoeksbureau van de gemeente Amsterdam, bracht onlangs De eerste staat van het Amsterdamse primair onderwijs uit. Hierin wordt gemeld dat er tussen scholen aanzienlijke verschillen zijn in het onderwijsrendement, ook als rekening gehouden wordt met de schoolweging. Zo zijn er onder de scholen met een bijna maximale schoolweging enkele waarvan ongeveer 60 procent van de leerlingen het streefniveau 1S/2F weet te halen. Maar er zijn ook scholen die niet verder komen van een magere tien procent (zie p. 38 van De eerste staat). In de rapportage van het OIS wordt zorgvuldig afgeschermd welke de goed presterende en welke de minder goed presterende scholen zijn. Voor ouders met belangstelling voor het onderwijsrendement van een school is dat onbevredigend.
Analyses door OCO
OCO heeft op basis van open data van het CBS en van DUO (Dienst Uitvoering Onderwijs) studie gemaakt van het onderwijsrendement van de Amsterdamse basisscholen. Getracht is ouders en leerlingen nuttige informatie te verschaffen over het onderwijsrendement van hun school of van andere scholen. Zulke informatie kan ouders helpen bij schoolkeuze. En zulke informatie kan ook een rol spelen in de discussie over kansengelijkheid. Risicoleerlingen hebben immers profijt van scholen die hoge onderwijsrendementen weten te realiseren. En omgekeerd, scholen met een laag onderwijsrendement vormen voor risicoleerlingen een extra risico.
Databewerking
De beschikbare cijfers betreffen drie domeinen (rekenen, leesvaardigheid en taalverzorging) en drie schooljaren (2016-2017, 2017-2018 en 2018-2019). Deze zijn samengevoegd tot een gemiddelde. Dat is apart gedaan voor referentieniveau 1F en voor referentieniveau 1S/2F. Een en ander resulteert in twee schattingen voor het onderwijsrendement van een school: het percentage leerlingen dat gemiddeld genomen referentieniveau 1F heeft gehaald en het percentage dat 1S/2F heeft gehaald. Hiertoe zijn de leerlingaantallen in de open data van DUO omgerekend naar percentages.
Vergelijkingsgroepen
De schoolweging heeft betrekking op dezelfde periode, namelijk de schoolweging in elk van de drie genoemde schooljaren. Ook deze zijn samengevoegd tot een gemiddelde. Daarna is het gemiddelde nog omgezet naar decielen (een schaal van 1 tot en met 10, waarbij score 1 wordt toegekend aan de tien procent scholen met de laagste schoolweging, score 2 wordt toegekend aan de volgende tien procent van de scholen … tot en met score 10 voor de tien procent scholen met de hoogste schoolweging). Zo zijn er tien vergelijkingsgroepen ontstaan van scholen met ongeveer dezelfde schoolweging.
Eén reactie
Beste,
In de lijst scholen zijn de STAIJ scholen abusievelijk als Zonova scholen aangeduid.