Ed tech companies promise results, but their claims are often based on shoddy research

In the Netherlands, we have a saying which was once a TV commercial for a toilet bowl cleaner. It goes like this: We from WC-duck recommend WC-duck. WC-eend (WC-duck) is a toilet bowl cleaner where the neck of the plastic bottle is shaped like a duck’s neck to easily spray the cleaner under the rim. Here is the Wikipedia entry – including a picture of the product – which you can go yo and translate into English by right-clicking anywhere in the entry and choosing translation.

A Hechinger Report review found dozens of education software companies promoting their products with little or shoddy evidence to support their claims.

Source: Ed tech companies promise results, but their claims are often based on shoddy research

You might also want to read the blog that Mirjam Neelen and I wrote about edupreneurs.

Advertentie

Neon Elephant Award 2020 » Work-Learning Research

Dr. Will Thalheimer, President of Work-Learning Research, Inc., announces the winner of the 2020 Neon Elephant Award, given to Mirjam Neelen and Paul Kirschner for writing the book, Evidence-Informed Learning Design: Use Evidence to Create Training Which Improves Performance—and for their many years publishing their blog 3-Star Learning Experiences.

The Neon Elephant Award is awarded to a person, team, or organization exemplifying enlightenment, integrity, and innovation in the field of workplace learning and performance. Announced in December—during the time of year when the northern hemisphere turns away from darkness toward the light and hope of warmer days to come—the Neon Elephant Award honors those who have truly changed the way we think about the practice of learning and performance improvement. Award winners are selected for demonstrated success in pushing the field forward in significant paradigm-altering ways while maintaining the highest standards of ethics and professionalism. 

Bron: Neon Elephant Award 2020 » Work-Learning Research

Generatief Leren: Wat Werkt en Voor Wie?

Hier een uitgebreide versie van mijn column en blog in het decembernummer van Didactief.

Logan Fiorella en Richard Mayer schreven een artikel (2016) over generatieve leerstrategieën. Een generatieve leerstrategie vraagt leerlingen actief de leerstof te reorganiseren en integreren met hun voorkennis. Het gaat om activiteiten die leerlingen ertoe aanzetten iets zinvols te produceren dat verder gaat dan de informatie die door een leraar of het leermateriaal worden verstrekt[1]. Daarbij moeten leerlingen hun eigen voorkennis activeren en deze koppelen aan de nieuwe informatie. Uitgangspunt van generatief leren is dat hierdoor de integratie van de nieuwe informatie in bestaande kennisstructuren van de leerling (d.w.z. het assimileren van nieuw leerstof in haar/zijn cognitieve schema’s) bevordert. Doen zij dit, dan wordt het makkelijker het geleerde toe te passen in nieuwe situaties. Fiorella en Mayer bespreken acht leerstrategieën die generatief leren kan bevorderen, te weten: samenvatten, (concept)mappen, tekenen, verbeelden, zelftesten, zelf verklaren (uitleggen aan jezelf), aan elkaar doceren (peer teaching) en uitbeelden. Maar de vraag is of deze leerstrategieën werken en zo ja, bij wie?

Garvin Brod (2020) probeert deze vraag te beantwoorden in een net gepubliceerd review artikel. Hij keek naar wat er bekend was over de effecten van de verschillende strategieën bij leerlingen in de schoolgaande leeftijd op vijf van de acht door Fiorella en Mayer behandelde generatieve strategieën – concept(mappen), zelf verklaren/uitleggen, voorspellen, zelftesten/oefentoetsen en tekenen – en voegde ook één er aan toe: vragen stellen. Hij keek niet naar samenvatten, bijvoorbeeld, omdat terwijl hij samenvatten wel actief vindt is het niet generatief: het inkorten en parafraseren voegt niets nieuws toevoegt wat er geleerd moet worden. In zijn review kijkt Brod vooral naar de effecten bij verschillende leeftijdscategorieën, te weten: leerlingen in groepen 3 t/m 6 van het bo, leerlingen in groepen 7 en 8 en leerlingen in het vo. Van elke van de zes generatieve strategieën keek hij naar (1) hoe de strategie zou moeten werken, (2) of en hoe de strategie in verschillende leeftijdsgroepen werkt, en (3) of er ontwikkelingsverschillen zijn in hoe die werken (d.w.z. verschillen in werking/effect zijn over de leeftijdsgroepen).

(Concept)Mappen: Bij mappen vraag je de leerling om eerst de verschillende concepten in de leerstof te vinden/bepalen en daarna relaties aan te brengen tussen die concepten.

Concept maps depict the hierarchy of and relations among concepts…[and] is based on Ausubel’s (1960) assimilation theory of cognitive learning…According to Ausubel, meaningful learning can be achieved by anchoring new ideas or concepts with previously acquired knowledge.[2]

Deze strategie lijkt te werken bij kinderen vanaf groep 7 maar niet bij jongere leerlingen. Voor alle kinderen geldt dat zij die strategie goed hebben geleerd om kunnen toepassen wil het werken. Nogal wiedes, zowel hier als voor alle andere strategieën.

Zelf verklaren/uitleggen: Hier vraag je leerlingen om uitleg te genereren tijdens het leren waardoor relevante voorkennis geactiveerd en de integratie en het organiseren van nieuwe informatie makkelijker wordt. Zelf verklaren stimuleert ook het verwerken van de nieuwe informatie, zoals de overeenkomsten en verschillen.

…asking students to generate explanations during learning activates relevant prior knowledge and facilitates integration and organization of new information. This strategy further encourages elaboration of the new information, such as processing similarities and differences among elements of the to-be-learned content. Furthermore, asking students to provide explanations is supposed to prompt them to generate inferences that go beyond the given information and to revise their mental models.

Deze strategie werkt het beste bij middelbare scholieren terwijl de werking bij jongere leerlingen gemengd is. Omdat het uitleggen enige redeneervaardigheden vereist, benadeelt dit jongere leerlingen die niet in staat zijn om gevolgtrekkingen te genereren op basis van diepe structurele gelijkenis. Dit bemoeilijkt hun vermogen om verklaringen te genereren op basis van onderliggende eigenschappen van te leren materiaal.

Voorspellen: Hier vraagt de leraar de leerlingen om een voorspelling over iets te bedenken voordat zij/hij hen de te leren informatie verstrekt.

Generating a prediction requires accessing prior knowledge and connecting it to the new information being learned. Furthermore, generating a prediction may stimulate curiosity for the correct answer and if the correct answer is different from the prediction, learners experience surprise.

Voorspellen vereist voorkennis die daarna verbonden moet worden met nieuwe, te leren informatie. Bovendien kan voorspellen de nieuwsgierigheid naar het juiste antwoord stimuleren en als het juiste antwoord afwijkt van de voorspelling, tot een verrassing leiden. Deze strategie lijkt te werken bij alle leeftijden, mits de voorkennis aanwezig is.

Vragen stellen: Het stellen van een goede vraag eist het hebben van relevante voorkennis waarover de leerling moet uitweiden. Hierdoor ontdekt de leerling leemtes in hun kennis.

Asking a good question requires accessing and elaborating relevant prior knowledge, and…help learners identify gaps in their knowledge…It has been suggested that asking learners to generate questions on the taught content also guides their attention to the main ideas and helps them and the instructor monitor their current state of understanding…By teaching students to generate questions, it is argued, one is also teaching them a self-regulatory cognitive strategy that helps them to learn by themselves.

Deze vaak gebruikte strategie heeft gemengde resultaten bij de oudere leerlingen en (v.a. groep 7) en ongunstige werking op de jongsten. Hier geldt sterk dat leerlingen eerst moeten leren hoe zij goede vragen kunnen genereren c.q. flink ondersteund moeten worden en moeten daarvoor ruim de tijd krijgen om het te leren, oefenen en uitvoeren.

Zelftesten/oefentoetsen: Naar ik mag aannemen weet iedereen van mijn columns en blogs wat deze strategie inhoudt. Zoals John Dunlosky en zijn collega’s lieten zien, werkt deze strategie bij alle leeftijdsgroepen; punt uit!

Tekenen: Hier vraag je leerlingen iets te tekenen die lijkt op of overeenkomt met een bestudeerd concept. Om een illustratie te tekenen, moeten zij verbale informatie vertalen in een afbeelding die de ruimtelijke relaties weergeeft tussen de elementen die in de tekst worden genoemd.

To draw an illustration, learners have to translate the verbal information into a picture that represents spatial relationships among the elements mentioned in the text…[and] engage in three cognitive processes: selecting the relevant information from the text, organizing the selected information to build up an internal verbal representation, and constructing an internal nonverbal representation that corresponds to the verbal one. In addition, the task involves analogical reasoning in that a good drawing has to be structurally similar to the text, which means that learners have to constantly compare the correspondence between the text and their drawing.

Tekenen lijkt goed te werken bij de oudste leerlingen (vo) maar ongunstig uit te pakken van bo-leerlingen omdat het maken van een tekening die overeenkomen met een bestudeerd concept goede analoge redeneer- en controlevaardigheden vereist en dat is een brug te ver voor jongere leerlingen.

Hier geldt dus, al lijkt een strategie goed bezint er gij begint!

Wil je meer leren over hoe je generatief leren kan implementeren, raad ik dit boek van Mark en Zoe Enser aan “Fiorella & Mayer’s Generative Learning in Action (In Action series)”: https://www.amazon.co.uk/Fiorella-Mayers-Generative-Learning-Action/dp/1913622207/

Ausubel, D. P. (1960). The use of advance organizers in the learning and retention of meaningful verbal material. Journal of Educational Psychology, 51(5), 267–272. https://doi.org/10.1037/h0046669.

Brod, G. (2020). Generative learning: Which strategies for what age? Educational Psychology Review. https://doi.org/10.1007/s10648-020-09571-9

Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4–58. https://doi.org/10.1177/1529100612453266

Fiorella, L., & Mayer, R. E. (2016). Eight ways to promote generative learning. Educational Psychology Review, 28, 717–741. https://doi.org/10.1007/s10648-015-9348-9


[1] Generatief leren onderscheidt zich van andere populaire leerstrategieën die ook activiteiten van de leerlingen vereisen, maar waarvoor geen aanvullende inhoud nodig is (bijv. markeren/highlighting en parafraseren).

[2] De citaten komen uit het artikel van Brod dat hier beschikbaar is: https://link.springer.com/article/10.1007/s10648-020-09571-9

Pupils can learn more effectively through stories than activities

You often hear that active ‘doing’ (pupil-centred) is better than ‘telling’ (teacher-centred) and that this is even more important and more ‘true’ when it comes to younger children. Unfortunately, this new study at the University of Bath shows that storytelling — the oldest form of teaching — is the most effective way of teaching primary school children about evolution. A randomised controlled trial found that children learn about evolution more effectively when engaged through stories read by the teacher (i.e., instruction), than through doing tasks to demonstrate the same concept.

The scientists investigated several different methods of teaching evolution in primary schools, to test whether a pupil-centred approach (where pupils took part in an activity) or a teacher-centred approach (where pupils were read a story by the teacher), led to a greater improvement in understanding of the topic.

Abstract of the article in Nature’s Science of Learning journal:

Current educational discourse holds that effective pedagogy requires engagement through active student participation with subject matter relating to them. The lack of testing of lessons in series is recognized as a potential weakness in the evidence base, not least because standard parallel designs cannot capture serial interaction effects (cf. drug interactions). However, logistic issues make large-scale replicated in situ assessment of serial designs challenging. The recent introduction of evolution into the UK primary school curriculum presents a rare opportunity to overcome this. We implemented a randomised control 2 × 2 design with four inexpensive schemes of work, comparable to drug interaction trials. This involved an initial test phase (N = 1152) with replication (N = 1505), delivered by teachers, after training, in their classrooms with quantitative before-after-retention testing. Utilising the “genetics-first” approach, the schemes comprised four lessons taught in the same order. Lessons 1 (variation) and 3 (deep-time) were invariant. Lesson 2 (selection) was either student-centred or teacher-centred, with subject organism constant, while lesson 4 (homology) was either human-centred or not, with learning mode constant. All four schemes were effective in replicate, even for lower ability students. Unexpectedly, the teacher-focused/non-human centred scheme was the most successful in both test and replicate, in part owing to a replicable interaction effect but also because it enabled engagement. These results highlight the importance of testing lessons in sequence and indicate that there are many routes to effective engagement with no “one-size fits all” solution in education.

 

Bron: Pupils can learn more effectively through stories than activities

The relationship of bilingualism and cognitive advantage

Not unexpected, those who are bilingual experience a switching (one of the best known executive functions) advantage, but this was not the case for other EFs such as inhibition, attention, monitoring, working memory, and planning.

The hypothesis that bilingual children have a cognitive advantage related to their executive function has been accepted as a truth in both society and research. However, the present meta-analysis, which is based on a large number of studies (143 comparisons and 583 effect sizes), gives little compelling support for the position that a bilingual advantage exists for overall executive function. Importantly, there was large heterogeneity in results and studies of middle-class children and studies using switching tasks, and studies from one lab demonstrated larger effects.

Bron: The relationship of bilingualism and cognitive advantage

Original article: Is Bilingualism Related to a Cognitive Advantage in Children? A Systematic Review and Meta-Analysis

Organising Knowledge: Ausubel’s Advance organisers

Here’s a really clear and useful blog by David Rodger-Goodwin on David Ausubel’s Advance Organisers.

The Situation – Expert teachers create and maintain, almost automatically, complex networks that link concepts, ideas and facts within their domain which students don’t have.

The Solution – Popularised by the psychologist David Ausubel (1968), advance organisers provide the conceptual framework for the incorporation and retention of new information. They should be presented in advance of a new topic (or sequence of learning) and at a higher level of abstraction than the learning that follows.

Bron: Organising Knowledge: Ausubel’s Advance organisers