Posts by Author

Buiksprekers in onderzoek naar tweedetaalverwerving: Emily Felker’s dissertatie “Learning second language speech perception in natural settings”  0

Op 10 juni 2021 verdedigde Emily Felker haar proefschrift aan de Radboud Universiteit Nijmegen. Ze kreeg moeilijke vragen, en beantwoordde die stuk voor stuk met verve. De meeste vragen gingen over hoofdstuk 6 van haar proefschrift, het hoofdstuk waarin onderzocht werd of expliciete instructie over klanken nu nut heeft voor bewustwording en herkenning van die klanken door tweedetaalleerders. Kort gezegd is de uitkomst “ja” en kunnen we hieruit (weer eens) concluderen dat bewustwording door middel van expliciete instructie zinnig is voor het leren van een tweede taal, ditmaal op het gebied van klankperceptie.

 

Dit soort onderzoek is winst voor de taalonderwijspraktijk. Ik hoef leraren(opleiders) niet uit te leggen waarom we dit zouden willen weten. Maar dat geldt niet direct voor de andere hoofdstukken in het proefschrift van Felker. In de corona-tijd sprak ik mijn collega’s vaker buiten, op een terras, wel zo ontspannen. En zo kwam het voor dat mijn collega MVT-lerarenopleider mij vroeg naar het boekje dat ik op dat moment aan het lezen was. Enthousiast begon ik te vertellen over de ingewikkelde, nieuw-uitgevonden experimentopzet uit hoofdstuk 3 en 4 van het proefschrift…

 

Het buiksprekerparadigma

In dit experiment zit een echte proefpersoon tegenover een niet-echte, namelijk een bondgenoot binnen het onderzoek, een soort medeplichtige van de onderzoeker. Samen moeten ze puzzels oplossen en hebben ze daarvoor ieder een deel van de informatie op hun eigen computerschermen, en dit doen ze in het Engels. Daarbij moeten ze woorden aan figuren verbinden. Nu is de crux dat die bondgenoot een vreemd accent heeft; ze zegt telkens /i/ in plaats van /e/, dus bijvoorbeeld ‘bitter’ in plaats van ‘better’, en bovendien zegt ze /ie/ waar anderen /i/ zeggen. Als de proefpersoon dan de geschreven woorden “bitter” én “better” heeft om uit te kiezen voor het oplossen van de puzzel, dan moet de proefpersoon dus gaandeweg het experiment begrijpen dat dit een accent is (met e -> i en i -> ie), want anders lukt het niet om de puzzel correct op te lossen. Om ervoor te zorgen dat de medeplichtige een constante uitspaak heeft van dit accent, gebruikt de medeplichtige een heel arsenaal aan vooraf opgenomen zinnetjes en woorden. Om mijn collega beter uit te leggen hoe dit werkte, deed ik voor hoe de medeplichtige zich dan telkens kort achter haar computerscherm waarop de puzzel te zien was verborg, om te doen alsof ze in de microfoon praatte, maar in feite drukte ze dan op een knopje. Als een soort buikspreker.

 

Learning in natural settings?

Na mijn lange maar enthousiaste uitleg over dit nieuwe experimentele paradigma, reageerde mijn collega droogjes met “maar waarom zou je dat allemaal doen?”. En omdat de rest van de terrastafel al andere meer prangende onderwerpen besprak, bleef mijn antwoord op deze vraag uit. Daarom bij deze: waarom zou je een buikspreker-experiment uitvoeren? De titel van het proefschrift is “Learning second language speech perception in natural settings”. Hoezo is een buikspreker-paradigma een natuurlijke setting?

 

Dat heeft te maken met de eeuwige tegenstelling in onderzoek: zo natuurlijk mogelijk enerzijds, en zo gecontroleerd mogelijk anderzijds. Vóór het paradigma van Felker was er nog nooit gecontroleerd onderzoek naar het leren van accenten in taal in live-interactie. Nu kon Felker onderzoeken hoe tweedetaalleerders wennen aan een voor hen tot dan toe onbekend accent, en hoe ze dat accent gaandeweg leren met expliciete feedback (Buikspreker: “No not that one, you need bitter not beeter”).

 

Nieuwe mogelijkheden voor onderzoek

Dit paradigma opent tal van nieuwe mogelijkheden voor onderzoek naar tweedetaalverwerving: als je gecontroleerde gesprekken kunt inzetten in onderzoek, dan kun je bijvoorbeeld preciezer uitzoeken welk type feedback, op welk aspect, op welk moment, en door wie het beste werkt in interactie, zowel voor directe uptake als voor langetermijn-leereffecten. Je kan dit bijvoorbeeld inzetten om meer onderzoek naar feedback te doen bij perceptie, zoals in Felker’s onderzoek, maar het is uiteraard ook te gebruiken om uit te zoeken hoe je feedback in interactie op uitspraak, of op andere aspecten van productie het beste kunt inzetten. Vervolgens is er ook een heel scala aan experimenten te bedenken om uit te zoeken of het uitmaakt wie die feedback geeft: kan dat een peer zijn, of werkt het beter als het een docent is; in hoeverre maakt het uit of het een moedertaalspreker is of niet, et cetera.

 

Dus hier kwam mijn enthousiasme vandaan, het is niet direct toepasbaar in de praktijk, maar het onderzoek dat mogelijk is gemaakt kan ons wel weer meer leren over de mogelijke positieve effecten van feedback in interactie, toch één van de meest gebruikte vormen van instructie in een les moderne vreemde talen. Los van de theoretische en praktische implicaties van het nieuwe paradigma gun ik het de toekomstige onderzoekers die als medeplichtige in zo’n experiment meedoen: hoe grappig moet het wel niet zijn, om door de juiste combinatie van knoppen met opgenomen zinnen alle proefpersonen te doen geloven dat er een echt gesprek plaatsvindt.

Intercultural Communicative Competence in the Language Classroom: Is this where language education is headed?  0

Authors: Nivja de Jong and Tessa Mearns (members of Meesterschapsteam MVT)

 

One time is not enough, two times is a trend, and three times is a tradition

In June 2017, the LLRC (Language Learning Resource Centre) was ‘launched’ with a full-day programme by and for language teachers, language teacher educators, and language learning researchers. Most of those present were from Leiden University, unsurprising as the LLRC has as its central aim to bring together language teachers and researchers from the different Leiden University institutes involved in teaching languages: LUCL, LIAS, ATC, ICLON and LUCAS. On June 7th, 2019, the third full-day conference was hosted by the LLRC, this time on the topic of intercultural communicative competence with a focus on higher education. Professor Michael Byram (emeritus professor, Durham University) was the invited speaker of the day. Anyone who has ever heard of the term “intercultural communicative competence” knows the stature of Prof. Byram. Although again, most people came from Leiden University, both presenters and attendants were now more diverse.

 

“Why should the biologists get all the fun?”

This was a question posed by Prof. Byram during his keynote. He referred to the fact that in CLIL (Content and Language Integrated Learning), as the acronym already clarifies, it is usual to teach content whilst teaching language. So if biologists teach about biology whilst teaching language, what (fun) topics can and should language teachers use?

When teaching language, students and teacher(s) use language, and this language that is used is always about something. Teachers can to some extent choose the content for which the language will be used. If we agree that being a communicative competent user of a language, also means to understand (something about) the (sub-)culture of the language, it becomes apparent that a form of content in the language classroom can and should be “culture”. So biology teachers do NOT get all the fun. Language teachers can claim an enormous amount of interesting topics to teach, and this in turn will lead to learners that are more interculturally competent and language-aware.

 

A shared vision

The same note was struck in the last lecture of the day, by the Meesterschapsteam MVT, who showed their model on language teaching for the Dutch curriculum: intercultural communicative competence is the core competence, and this core evolves from three overlapping learning outcomes: cultural awareness, language awareness, and language skills, as depicted in the figure below.

 

Figure: Learning outcomes for a content-rich Modern Languages curriculum (adapted from  Meesterschapsteam MVT’s vision on the future of Modern Languages education)

 

A question of ‘perspective’

Apt content to foster these competences can be specified by approaching ‘language’ from different academic perspectives: language as a structural phenomenon, language as a cognitive phenomenon, and language as a cultural phenomenon. Insights from such theoretical models have direct and fun implications for language teachers in their everyday practice. Instead of borrowing topics from other subjects (reading and talking about “panda’s eating bamboo”, “(made-up?) hobbies”, “the environment”), teachers can choose topics that are relevant for language: therefore choosing topics that are about structures of languages (from phonetics to discourse), about cognitive phenomena (from top-down processing while listening to Zipf-distributions or child language learning), about social phenomena (such as status of dialects, the effect of language and its power), and about cultural phenomena (ranging from stereotypes about cultures to literature and other forms of art). Biologist teachers get all the fun? No way! Language teachers get all the fun!

 

Support for a content-rich vision

The rest of the day’s presentations illustrated through practical examples how language teaching can include teaching about culture and developing intercultural competence (ICC). From the multilingual school to partnerships across international borders, language-and-culture-integrated literature teaching, assessment of ICC, to ICC training for university staff and students, the day presented us inspiration from a whole host of research findings and good practices.

Reform can only succeed if there is support at grassroots level. If the attendance and enthusiasm with which this conference was received are anything to go by then perhaps the vision of content-rich language education is not so far off the mark.

 

Next year’s LLRC Day will be held in June 2020 and centre around the theme ‘The interplay between practice, research, and theories in L2 learning’. Keep an eye on the LLRC website for more information.

 

Do you use Cronbach’s alpha to check internal consistency? Don’t! Use Summability.  0

Do you sum questions of your exams to get final scores of students? Do you use a questionnaire with likert-scales? Do you analyze these questionnaires by taking the means of these questionnaire-items? Do you use the mean of questions in evaluation-forms? Do you average response times to items in experimental settings?

 

If you have answered yes to any of these questions, you may (or may not but should) have wondered whether the items in your questionnaire, exam, test, or experiment are (sort of) measuring the same thing, the construct you had intended to be measured. If so, it is more than likely that you have calculated Cronbach’s alpha and (if the value was over .7) happily reported that indeed, the items were internally consistent. If so, you have calculated and reported the wrong measure and you are not alone. Despite the fact that methodologists have shown numerous time that Cronbach’s alpha is not suitable for measuring internal consistency (see Sijtsma, 2009, for instance), in handbooks Cronbach’s alpha can still be found as the prime choice measure to be calculated. Because the intention of questionnaire and test constructers is to summarize the test by its overall sum score, Jelle Goeman (and myself) advocate summability, which is defined as the proportion of total “test” (questionnaire-subset, exam, evaluation) variation that is explained by the sum score.

 

Our paper recently came out in the journal Educational Measurement: Issues and Practice, in which we show summability to be a stable measure across a number of variables (including test or questionnaire length). From the few examples that have been calculated until now, and from insight in the mathematic formula, we can assume that a summability of .5 can be considered “high”. As yet, however, more experience has to be gained on summabilities of tests in various fields before definite recommendations can be given.

 

Therefore, I end this blog with a “Call for Calculations”: please go to (https://sites.google.com/view/summability) and calculate summability yourself, for an existing test, exam, questionnaire, or experiment. You can download the R-code from the website, or use the link to the shiny-app. All you need is a table with items as columns and participants as rows, filled with participants’ scores on the items, supposedly measuring your (one) construct. The table can be in plain text-format or it can be an SPSS-file. Report your scores through the form available on the website. In this way, we will be able to gain a fast accumulation of knowledge of what constitutes “high,” “moderate,” and “low” summabilities. Thank you!