Can You Only Diagnose What You Know? The Relation Between Teachers’ Self-Regulation of Learning Concepts and Their Assessment of Students’ Self-Regulation

You’ve often heard from me about the problem that I have with using both self-report as a measure when doing research as well as using teacher-report as a measure. My reasons are simple, namely that such reports are subjective and not objective and that they are usually neither valid nor reliable. These two problems are compounded by the results of this study, namely that a person can only make a judgement if they really understand the concept. This, for example, is a prominent problem with the most often used measure of cognitive load; the one item scale by Paas and colleagues. The learner is often asked to judge how much mental effort a task required. Unfortunately, most people (1) have no basis with which they can judge their mental effort as they do for physical effort (e.g., whether or not they are out of breath, are sweating, have an increased heart rate, feel their arms or legs getting tired or cramping) and (2) confuse how much mental effort a task required with how difficult the task was, how much trouble they had when carrying out the task, and so forth.

The authors of this paper (Charlotte Dignath and Lara Sprenger) encountered this problem with respect to teacher assessment of self-regulated learning in their students. In the article ‘Can you only diagnose what you know? The relation between teachers’ self-regulation of learning concepts and their assessment of students’ self-regulation’ they conclude:

We conducted an examination of educators’ conceptualization of SRL, identified three patterns to classify these conceptualizations, and investigated how such conceptualization is associated with teachers’ assessment of SRL. We found that, in particular, teachers who conceptualize SRL as student autonomy and self-directedness might be at risk for using cues that are not diagnostic of SRL when attempting to identify their students’ self-regulation skills. This raises questions about the impact that teachers’ conceptualization of SRL has on their assessment accuracy for SRL, which might, in turn, affect teachers’ adaptive teaching and promoting SRL in the classroom.

The answer to the question is the article’s title is: No

Here the abstract:

Self-regulation of learning (SRL) positively affects achievement and motivation. Therefore, teachers are supposed to foster students’ SRL by providing them with strategies. However, two preconditions have to be met: teachers need to diagnose their students’ SRL to take instructional decisions about promoting SRL. To this end, teachers need knowledge about SRL to know what to diagnose. Only little research has investigated teachers’ knowledge about SRL and its assessment yet. Thus, the aim of this study was to identify teachers’ conceptions about SRL, to investigate their ideas about how to diagnose their students’ SRL, and to test relationships between both. To this end, we developed two systematic coding schemes to analyze the conceptions about SRL and the ideas about assessing SRL in the classroom among a sample of 205 teachers. The coding schemes for teachers’ open answers were developed based on models about SRL and were extended by deriving codes from the empirical data and produced satisfactory interrater reliability (conceptions about SRL: κ = 0.85, SE = 0.03; ideas about assessing SRL: κ = 0.63, SE = 0.05). The results showed that many teachers did not refer to any regulation procedure at all and described SRL mainly as student autonomy and self-directedness. Only few teachers had a comprehensive conception of the entire SRL cycle. We identified three patterns of teachers’ conceptualizations of SRL: a motivation-oriented, an autonomy-oriented, and a regulation-oriented conceptualization of SRL. Regarding teachers’ ideas about assessing their students’ SRL, teachers mainly focused on cues that are not diagnostic of SRL. Yet, many teachers knew about portfolios to register SRL among students. Finally, our results suggest that, partly, teachers’ ideas about assessing SRL varied as a function of their SRL concept: teachers with an autonomy-oriented conceptualization of SRL were more likely to use cues that are not diagnostic of SRL, such as unsystematic observation or off-task behavior. The results provide insights into teachers’ conceptions of SRL and of its assessment. Implications for future research in the field of SRL will be drawn, in particular about how to support teachers in diagnosing and fostering SR among their students.

Source: Can You Only Diagnose What You Know? The Relation Between Teachers’ Self-Regulation of Learning Concepts and Their Assessment of Students’ Self-Regulation

Advertentie

Are computer-supported literacy interventions effective for young children?

Computer-assisted learning (CAL) is gaining popularity due to its promise of cost-effectiveness, individualized approach, and enhanced engagement. However, recent research, published by Ludo Verhoeven and colleagues in Educational Research Review, shows that the effect size of CAL was smaller than those found in previous meta-analyses that investigated teacher-supported early literacy interventions. This lends evidence to a plausible conclusion that teachers are more effective than computers in enhancing literacy skills in early childhood development.

Bron: Are computer-supported literacy interventions effective for young children?

How complot theories differ from complots?

This ‘long look’ (48 minutes) is a really nicely produced video by Kirby Ferguson about conspiracy theories in which he explains why they’re almost always different from real conspiracies.

Don’t let the first source fool you: It’s a conspiracy to make Dutch the dominant world language 🙂 It’s in English!

Thanks to Pepijn van Erp from Stichting Skepsis, a Dutch organisation dedicated to the promotion and practice of scientific scepticism.

Source: Waarin complottheorieën verschillen van complotten – Kloptdatwel?

Or go right to YouTube

De Edupreneur Profiteert van Paniek

Deze blog is een uitgebreide versie van mijn blog bij Didactief.

Er zijn twee soorten paniek uitgebroken rond het onderwijs. De eerste is een morele paniek, een buitenproportionele, vijandige en door de media opgestookte reactie op iets dat ons lijkt te bedreigen. De tweede is een echte paniek, zoals nu rond Covid-19 ontstaat.

Bij een morele paniek horen argumenten die vaak zijn verwoord in dramatische taal, ze prediken vergaande gevolgen en roepen op tot urgente en fundamentele veranderingen.

Zoals Pedro, Casper en ik schreven in ons boek Jongens zijn slimmer dan meisjes XL, Bennett, Maton en Kervin (2008) beschrijven waarom zulke legendes die geboren zijn uit morele paniek zo gemakkelijk aanslaan en waarom ze zo hardnekkig zijn. Het komt hierop neer:

De argumenten worden vaak in dramatische taal geformuleerd, verkondigen een heftige verandering in de wereld en spreken over zuivere verschillen tussen generaties … Zulke beweringen in combinatie met een beroep op het gezond verstand en herkenbare anekdotes worden gebruikt om een noodsituatie uit te roepen en op te roepen tot dringende en fundamentele verandering … Nog een aspect van deze ‘academische morele paniek’ is de structuur als een reeks sterk gebonden scheidslijnen: tussen een nieuwe generatie en alle voorgaande; tussen de technische deskundigen en de onkundigen; en tussen leerlingen en leraren … De taal van morele paniek en de scheidslijnen die werden aangebracht door de commentatoren sluiten elke vorm van debat uit en zorgen er zo voor dat de onbewezen beweringen welig kunnen tieren.

Volgens socioloog Stanley Cohen () komt morele paniek voor wanneer een ‘conditie, episode, persoon of groep personen tevoorschijn komt die als een bedreiging wordt beschouwd van sociale waarden en interesses’ (p.9). Ook krijgt het onderwerp dat de paniek veroorzaakt (in dit geval de vermeende problemen in het onderwijs) veel publiciteit, want de verwachte negatieve gevolgen maken het nieuwswaardig.

Een vaak terugkerende morele paniek:

De kinderen houden tegenwoordig van luxe; slechte manieren hebben, minachting voor autoriteit; gebrek aan respect voor ouderen … zijn tirannen … spreken hun ouders tegen … en tiranniseren hun leraren.

De wereld maakt moeilijke tijden door. De jonge mensen van vandaag denken aan niets anders dan aan zichzelf … Ze zijn ongeduldig van alle terughoudendheid. Ze praten alsof ze alles wisten, en wat bij ons voor wijsheid doorgaat, is dwaasheid bij hen.

Klinkt bekend? Deze paniek is aan de gang sinds Socrates (± 300 v.Chr.) die de auteur was van het eerste citaat. De tweede is van Peter de kluizenaar (priester van Amiens), die een sleutelfiguur was in de Eerste Kruistocht en die op 8 juli 1115. stierf

Deze paniek zie je overal. Denk aan de dagelijkse krantenartikelen die van hel en verdoemenis spreken. Maar daarnaast zien wij radiospots voor privé onderwijsinstellingen, speciale cursussen en bijlesbedrijven, tv-reclame voor quizzen en spelletjes die het leren effectief en leuk maken en voor alomtegenwoordige webgebaseerde leerlingvolgsystemen (waar ouders toegang toe hebben). De bedrijven die adverteren spelen allemaal in op de vrees van ouders dat hun kinderen met ‘gewoon’ onderwijs buiten de boot vallen of dat zij de vorderingen van hun kinderen niet kunnen zien. Zij zeggen allemaal niet expliciet dat het onderwijs slecht is, maar zij beweren klaar te staan voor jouw kind dat “meer uitdaging zoekt of juist een tandje bij moet zetten”. Codetaal dat het onderwijs ondermaats is en dat doen voor jou en jouw kind doen wat de reguliere scholen niet (kunnen) doen.

Dit misbruik van een opgeblazen probleem wordt mooi maar moeilijk beschreven in een artikel van Ideland, Jober en Axelsson met de titel Problem solved! How edupreneurs enact a school crisis as business possibilities. Edupreneur is een portmanteauwoord dat education (onderwijs) combineert met entrepreneur (ondernemer): een onderwijsondernemer[1].

Abstract of the article

This article explores how a growing apparatus of edupreneurial actors offers solutions for the current ‘school crisis’ and how these commercial actors become taken for granted in the public school system. The Swedish case is interesting, as it involves a once-strong welfare state that is now associated with both the neoliberal discourse of competition and the outsourcing of policy work. Two examples – research-based education and the digitalization of education – serve to illustrate how a crisis narrative is translated into edupreneurial business ideas and how companies become established in the edupreneurial market through ‘public/private statework’. Bacchi’s notion of problematization is used to analyse processes through which the crisis has become a hegemonic truth and thus an obvious object for (business) intervention. In addition, this study shows how the commodification of school limits what becomes the ‘research base’ for schooling. The results point to the importance of how the problem is constructed and what is represented (or not) in this problematization process, for example, how critical research is left out. Another important conclusion is that the crisis narrative and policy reforms nurture the existence of these private companies.

De auteurs namen Zweden als casus voor de opkomst van edupreneurs die het onderwijs op neoliberale leest wilden en wisten te schoeien. Deze privé partijen zagen kans om soms nauwelijks aanwezige problemen in en met het onderwijs op te blazen en impliciet als ‘crisis’ in te kaderen (framing). Hun websites verwijzen niet naar onderwijs als verouderd en saai, noch naar onderwijsonderzoek als ‘nutteloos’ en onpraktisch, of het klaslokaal als rommelig. Nee, hun websites spreken in termen van mogelijkheden – in optimistische taal die betrokkenheid, structuur en mogelijkheden laat zien. Door het zo te beschrijven, wordt een ‘crisis’ vertaald in een handelsartikel, iets dat ‘oplossingsgericht’ is bovendien. De edupreneurs gebruiken onderzoek, vaak van ‘big name’ onderzoekers als John Hattie of Dylan Wiliam, zeer selectief (dit heet cherry picking: de krenten uit de pap halen) en benadrukken zaken als transparantie (‘Wat wordt er werkelijk geleerd?’) en efficiëntie (‘Hoe maken wij leerkrachten meer efficiënt?’).

De edupreneurs zijn dus voor een deel verantwoordelijk voor de crisis (framing) en bieden vervolgens meteen de oplossing (oplossingsgericht). Zoals vaak het geval, maken ze heel handig gebruik van de morele paniek die zij mede veroorzaakt hebben.

Maar er is nog een andere soort paniek, de echte. Covid-19 is een voorbeeld hiervan. Door de coronapandemie zien scholen, van basis- tot hoger onderwijs, zich genoodzaakt onderwijs op een andere manier aan te bieden. Zij zijn massaal overgestapt op technologie platforms als Microsoft Teams of Zoom of … om wat ik Emergency Remote Teaching (Noodonderwijs op Afstand) noem te bewerkstelligen. Ook online cursusplatforms zoals Coursera bieden universiteiten nu bijna gratis gebruik van hun cursussen die, tot kortgeleden, achter een betaalmuur stonden. Allemaal geweldig toch, zou je zeggen? Maar er zit een adertje onder het gras.

Het FD heeft er op 25 oktober een nuchter artikel over geschreven, waarin het aandacht vraagt voor onze privacy en data. Immers, wie is er tegen het verspreiden van kennis via een platform waarmee volwassenen collegereeksen kunnen volgen..? En ik voeg daar aan toe: wie kan er tegen het weggeven van vergaderplatforms zijn, zó dat er op afstand onderwijs aan schoolklassen in basis- voortgezet en hoger onderwijs mogelijk is? Maar, schrijft het FD, in onze terechte paniek hebben we niet de nodige tijd genomen om, bijvoorbeeld, stevige voorwaarden te stellen aan de bescherming van onze privacy en het gebruik van onze data door deze platforms.

Een evaluatie door het Education Week geschreven door Benjamin Herold over het privacybeleid van een aantal aanbieders leverde zorgen op over het gebruik van tracking- en bewakingstechnologieën waarmee derden informatie over studenten kunnen verzamelen. Verder rezen er vragen over het verzamelen, gebruiken en delen van enorme hoeveelheden ‘’metadata’ van leerlingen en studenten. Bij sommige bedrijven is er sprake van de mogelijkheid (volgens hun privacy beleid) tot bijna grenzeloos delen van informatie met derden, onder andere door hun samenwerking / verbinding met Facebook en Google. Ik citeer: “Khan Academy, which provides open instructional resources to 10 million unique users per month, came under the sharpest criticism. Ms. Barnes, for example, said the Mountain View, Calif.-based nonprofit’s privacy policy allows for “almost limitless” sharing of student information with third parties.”

Both the experts consulted by Education Week blasted the privacy policy of Khan Academy, a non-profit organization that has made a big push to expand its reach in recent months via new partnerships and new math resources tied to the contentious Common Core State Standards.

“They are essentially enabling third parties to gather unlimited information about users and disclaiming any responsibility for that,” Mr. Reidenberg said of the organization.

Ms. Barnes pointed to Khan Academy’s integrations with Facebook and Google—”businesses that are founded on the idea of commercializing information”—and liberal approach to granting third-party advertisers and app developers access to student information as particularly problematic. Worse, she said, the organization explicitly says that its privacy policy “does not apply to, and we cannot control the activities of” those third-party partners.

Plus, Khan Academy users who want to know how their information will be utilized are advised to review the privacy policies of all the third parties with whom the organization partners—none of whom are identified by name, and most of whom likely reserve the right to change their policies at any time, with limited or no notice, she said.

Welke spreekwoord kiezen wij hier? ‘Een gegeven paard kijk je niet in de bek’ of ‘Voor niets gaat de zon op’?

Bennett, S., Maton, K., & Kervin, L. (2008). The “digital natives” debate: A critical review of the evidence. British Journal of Educational Technology, 39, 775-786.

Cohen, S. (1973). Folk devils and moral panics. St Albans, UK: Paladin.

Herold, B. (2014, April 12). Prominent ed-tech players’ data-privacy policies attract scrutiny. Education Weekly. https://www.edweek.org/ew/articles/2014/04/16/28privacy_ep.h33.html

Ideland, M., Jobér, A., & Axelsson, T. (2020). Problem solved! How eduprenuers enact a school crisis as business possibilities. Eruropean Educational Research Journal.

McRobbie, A., & Thornton, S. L. (1995). Rethinking ‘moral panic’ for multi-mediated social worlds. The British Journal of Sociology, 46, 559-574.


[1] Misschien weet je dit niet maar zulke portmanteauwoorden gebruik je dagelijks. Denk aan podcast (iPod+broadcast), smog (smoke+fog), or brexit (Britain+exit).

NWO: Serieus?

Ik las net een Tweet van een jong beloftevolle academicus wiens NWO Veni-voorstel afgewezen werd. Dit heeft mij doen beseffen deze stream-of-consciousness-blog te schrijven.

Ik werd zeer recentelijk gevraagd zitting te nemen in een NWO beoordelingscommissie. Zoiets heb ik eerder gedaan en weet dat ze veel vragen en weinig betalen. Via een emailwisseling leerde ik dat alleen het bijwonen van/deelnemen aan vergaderingen vergoed zou worden. Punt is, de tijd die je kwijt bent aan het vergaderen is maar een (klein) deel van de tijd die je kwijt bent om je werk als beoordelaar serieus te doen. Je moet een niet gering aantal vooraanmeldingen zorgvuldig lezen en schriftelijk beoordelen. Je moet de reacties daarop van een deel van de kandidaten doornemen en beslissen welke vooraanmeldingen uitgewerkt mogen worden. Je moet – voor zover ik het begreep – een aantal uitgewerkte voorstellen lezen en die schriftelijk beoordelen alsmede de weerwoorden daarop. Je moet meewerken aan de preadviezen. En tot slot neem je deel aan interviews waarvoor je goed op moet voorbereiden.

Met andere woorden, buiten de vergaderingen en de interviews zelf – die vergoed worden – moet je als serieuze beoordelaar ook aardig wat tijd in het hele propces stoppen; tijd die niet vergoed wordt.

Ik heb mij bedankt voor de eer, maar niet om financiële redenen. Het is voor mij langzamerhand een principe kwestie geworden. Als NWO hoogwaardige beoordelaars wil hebben die beloftevolle kandidaten en hun voorstellen serieus nemen, dat moet NWO de beoordelaars ook serieus nemen.

Even nadenkend hierover vroeg ik mij af waarom NWO zo handelt. Waarom wordt maar een deel van het gevraagde werk (karig) vergoed. Ik kwam op drie redenen maar – @NWO – ik houd mij aanbevolen voor de echte reden(en) als ik die heb gemist.

  1. NWO denkt dat beoordelaars bereid zijn om dit onbetaalde werk voor de eer te doen; iets van “Ziet er goed uit op mijn CV”.
  2. NWO denkt dat de beoordelaars – vooral UHD’s of hoogleraren (al dan niet in rust) naar ik mag aannemen – het zullen doen uit een soort plichtsbesef als wetenschapper; een soort noblesse oblige.
  3. NWO de beoordelaars gewoon niet serieus neemt.

Wat ik wel weet is dat de reden niet financiële kan zijn. Dat schijntje van een dagdeelvergoeding maal een realistisch geschat aantal uren inzet maal het aantal beoordelaars valt in het niets in vergelijking met het bedrag dat uitgekeerd wordt aan subsidie.

Learning inequality during the COVID-19 pandemic

De resultaten van een onderzoek aan de Oxford University na het analyseren van toetsresultaten van leerlingen van circa 15 procent van de Nederlandse basisscholen laten een leerverlies zien van ongeveer 3 percentielpunten oftewel 0,08 standaarddeviaties. De verliezen zijn tot 55% groter onder leerlingen uit laagopgeleide gezinnen. Bij het onderzoeken van mechanismen vonden ze dat het grootste deel van het effect de cumulatieve impact van de geleerde kennis weerspiegelt in plaats van tijdelijke invloeden op de dag van testen. Het gemiddelde leerverlies is gelijk aan een 20% van een schooljaar, bijna precies dezelfde periode dat scholen gesloten bleven in Nederland. Deze resultaten impliceren dat leerlingen weinig of geen vooruitgang boekten tijdens het leren van thuis, en suggereren veel grotere verliezen in landen die minder voorbereid zijn op leren op afstand.

Het artikel vind je hier: https://osf.io/preprints/socarxiv/ve4z7

Hier de abstract van het artikel:

Suspension of face-to-face instruction in schools during the COVID-19 pandemic has led to concerns about consequences for student learning. So far,
data to study this question have been limited. Here we evaluate the effect
of school closures on primary school performance using exceptionally rich data
from the Netherlands (n≈350,000). The Netherlands represents a best-case scenario with a relatively short lockdown (8 weeks) and high degree of technological
preparedness. We use the fact that national exams took place before and after
lockdown, and compare progress during this period to the same period in the
three previous years using a difference-in-differences design. Our results reveal
a learning loss of about 3 percentile points or 0.08 standard deviations. These
results remain robust when balancing on the estimated propensity of treatment
and using maximum entropy weights, or with fixed-effects specifications that
compare students within the same school and family. Losses are up to 55%
larger among students from less-educated homes. Investigating mechanisms,
we find that most of the effect reflects the cumulative impact of knowledge
learned rather than transitory influences on the day of testing. The average
learning loss is equivalent to a fifth of a school year, nearly exactly the same
period that schools remained closed. These results imply that students made
little or no progress whilst learning from home, and suggest much larger losses
in countries less prepared for remote learning.

Rik Kuiper heeft in de Volkskrant hierover geschreven: Kinderen van laagopgeleide ouders liepen ‘zorgwekkende’ achterstanden op door sluiting basisscholen.