Intercultural Communicative Competence in the Language Classroom: Is this where language education is headed?  0

Authors: Nivja de Jong and Tessa Mearns (members of Meesterschapsteam MVT)

 

One time is not enough, two times is a trend, and three times is a tradition

In June 2017, the LLRC (Language Learning Resource Centre) was ‘launched’ with a full-day programme by and for language teachers, language teacher educators, and language learning researchers. Most of those present were from Leiden University, unsurprising as the LLRC has as its central aim to bring together language teachers and researchers from the different Leiden University institutes involved in teaching languages: LUCL, LIAS, ATC, ICLON and LUCAS. On June 7th, 2019, the third full-day conference was hosted by the LLRC, this time on the topic of intercultural communicative competence with a focus on higher education. Professor Michael Byram (emeritus professor, Durham University) was the invited speaker of the day. Anyone who has ever heard of the term “intercultural communicative competence” knows the stature of Prof. Byram. Although again, most people came from Leiden University, both presenters and attendants were now more diverse.

 

“Why should the biologists get all the fun?”

This was a question posed by Prof. Byram during his keynote. He referred to the fact that in CLIL (Content and Language Integrated Learning), as the acronym already clarifies, it is usual to teach content whilst teaching language. So if biologists teach about biology whilst teaching language, what (fun) topics can and should language teachers use?

When teaching language, students and teacher(s) use language, and this language that is used is always about something. Teachers can to some extent choose the content for which the language will be used. If we agree that being a communicative competent user of a language, also means to understand (something about) the (sub-)culture of the language, it becomes apparent that a form of content in the language classroom can and should be “culture”. So biology teachers do NOT get all the fun. Language teachers can claim an enormous amount of interesting topics to teach, and this in turn will lead to learners that are more interculturally competent and language-aware.

 

A shared vision

The same note was struck in the last lecture of the day, by the Meesterschapsteam MVT, who showed their model on language teaching for the Dutch curriculum: intercultural communicative competence is the core competence, and this core evolves from three overlapping learning outcomes: cultural awareness, language awareness, and language skills, as depicted in the figure below.

 

Figure: Learning outcomes for a content-rich Modern Languages curriculum (adapted from  Meesterschapsteam MVT’s vision on the future of Modern Languages education)

 

A question of ‘perspective’

Apt content to foster these competences can be specified by approaching ‘language’ from different academic perspectives: language as a structural phenomenon, language as a cognitive phenomenon, and language as a cultural phenomenon. Insights from such theoretical models have direct and fun implications for language teachers in their everyday practice. Instead of borrowing topics from other subjects (reading and talking about “panda’s eating bamboo”, “(made-up?) hobbies”, “the environment”), teachers can choose topics that are relevant for language: therefore choosing topics that are about structures of languages (from phonetics to discourse), about cognitive phenomena (from top-down processing while listening to Zipf-distributions or child language learning), about social phenomena (such as status of dialects, the effect of language and its power), and about cultural phenomena (ranging from stereotypes about cultures to literature and other forms of art). Biologist teachers get all the fun? No way! Language teachers get all the fun!

 

Support for a content-rich vision

The rest of the day’s presentations illustrated through practical examples how language teaching can include teaching about culture and developing intercultural competence (ICC). From the multilingual school to partnerships across international borders, language-and-culture-integrated literature teaching, assessment of ICC, to ICC training for university staff and students, the day presented us inspiration from a whole host of research findings and good practices.

Reform can only succeed if there is support at grassroots level. If the attendance and enthusiasm with which this conference was received are anything to go by then perhaps the vision of content-rich language education is not so far off the mark.

 

Next year’s LLRC Day will be held in June 2020 and centre around the theme ‘The interplay between practice, research, and theories in L2 learning’. Keep an eye on the LLRC website for more information.

 

Op naar 40 jaar inspirerend voor de klas  0

Het lerarentekort in het primair en voortgezet onderwijs is dagelijks in het nieuws. Scholen sturen vertwijfeld klassen naar huis, onderwijstijd wordt ingekort en beleidsmakers zijn ten einde raad. Lerarenopleidingen worden aangespoord meer beginnende leraren af te leveren, maar mede door het imago van docentschap lukt dat maar mondjesmaat. Je hoort maar weinig over het behoud van leraren voor het beroep, en dan met name van de oudere leraar.

 

Oudere leraren
In de discussies worden oudere leraren steevast weggezet als een groep verzuurde leraren die niets meer willen en geen click meer hebben met hun leerlingen. Uit onder meer de dissertatie van Veldman (2017) naar arbeidstevredenheid van oudere leraren blijkt dat dit maar een klein deel van de waarheid is. Het directe contact met leerlingen is voor de ene leraar wel een bron van tevredenheid met het beroep, maar voor de andere leraar een reden om het aantal uren lesgeven te verminderen, een andere functie in school te ambiëren of het onderwijsberoep zelfs te verlaten.

 

Vier typen
Op basis van gegevens over hun relatie met leerlingen en arbeidstevredenheid in het algemeen onderscheidt Veldman vier typen oudere leraren (met tussen haakjes het aandeel in de gehele steekproef):
1. Positieve overschatters (43%)
2. Positieve onderschatters (36%)
3. Negatieve onderschatters (9%)
4. Negatieve realisten (12%)

 

Positieve overschatters
Positieve overschatters hebben geen reëel beeld van de kwaliteit van de relatie met hun leerlingen. Zij overschatten deze, en dan met name het creëren van een veilig en positief leerklimaat voor leerlingen. Wel zijn zij mede daardoor tevreden met hun werk, met name over de aard van het werk en de ondersteuning door het management. Zij prenten zichzelf in een goede relatie met leerlingen te hebben.

 

Positieve onderschatters

Ook positieve onderschatters hebben geen reëel beeld van de kwaliteit van de relatie met hun leerlingen. Zij onderschatten de kwaliteit van hun relatie met leerlingen, maar leerlingen waarderen de relatie wel positiever dan bij de Positieve overschatters. Dat geldt met name voor het creëren van een veilig en positief leerklimaat voor leerlingen. Mede daardoor zijn de positieve onderschatters tevreden met hun werk, met name over de aard van hun werk en de relatie met collega’s in school. Zij wapenen zich tegen mogelijk negatieve beelden van hun leerlingen.

 

Negatieve onderschatters
En ook de negatieve onderschatters hebben geen reëel beeld van de kwaliteit van de relatie met hun leerlingen. Zij onderschatten hun relatie met leerlingen, die hen vergelijkbaar waarderen als de Positieve overschatters. Verder zijn zij ontevreden over hun werk en dan met name over de aard van het werk en de werkomstandigheden. Zij leggen de schuld van hun ontevredenheid vooral bij externe factoren in school en bij de overheid.

 

Negatieve realisten
De negatieve realisten, ten slotte, vormen de enige groep leraren met een reëel beeld van de kwaliteit van de relatie met hun leerlingen. Zowel de leraren als hun leerlingen waarderen de relatie laag, terwijl de leraren ook weinig ambities hebben op het vlak van de relatie met leerlingen. Verder zijn deze leraren ontevreden over hun werk en dan met name over de aard van hun werk. Over andere zaken, zoals relatie met collega’s, werkomstandigheden en ondersteuning door het management, zijn zij tevreden. Zij hechten meer waarde aan andere aspecten van het beroep van docent dan het direct onderwijzen van leerlingen.

 

Dus…
Ongeveer 10% van de oudere leraren uit de typologie lijkt op het stereotype beeld dat wordt geschetst. Maar voor de overige 90% van de oudere leraren lijken er voldoende mogelijkheden om hen voor het beroep van leraar te behouden. Oudere leraren kunnen worden begeleid in het helder krijgen wat hen nog drijft als leraar (negatief realisten), in het formuleren van meer realistische ambities waardoor zij meer werkvreugde halen uit hun relatie met leerlingen (negatieve onderschatters) of beter gebruik maken van de kwaliteit van de relatie (positieve overschatters), en in het verkrijgen van meer zelfvertrouwen in de relatie met hun leerlingen (positieve onderschatters).

Meer ondersteuning en facilitering van oudere leraren kunnen oudere leraren helpen om de interactie met hun leerlingen te herwaarderen, een weloverwogen keuze te maken om vanuit een positieve motivatie iets anders te gaan doen dan lesgeven en (opnieuw) te motiveren voor het beroep van docent. In beleidsmaatregelen rond het reduceren van het lerarentekort zou hiervoor veel meer aandacht moeten komen.

 

Literatuur
Admiraal, W., Veldman, I., Mainhard, T., & Tartwijk, J van. (2019). A typology of veteran teachers’ job satisfaction: Their relationships with their students and the nature of their work. Social Psychology of Education, 22(2), 337-355.

Veldman, I. (2017). Stay or leave? Veteran teachers’ relationship with students and job satisfaction. Academisch proefschrift Universiteit Leiden.

Research into CLIL and Bilingual Education in the Netherlands: Where do we go from here?  0

My first encounter with bilingual secondary education (tweetalig onderwijs, or tto) was when I moved to the Netherlands in 2009, as a young and enthusiastic language teacher. Considering my already blossoming interest in Content & Language Integrated Learning (CLIL) at that time, I felt I had hit the linguistic jackpot. It seemed like pupils in Dutch bilingual schools were being offered the ultimate language-learning opportunity and I wholeheartedly embraced the opportunity to become part of the tto community.

 

Nine years on, Rick de Graaff and I had the honour of editing the Winter 2018 edition of the Dutch Journal of Applied Linguistics (DuJAL), which was dedicated to research in the field of CLIL and Bilingual Education in the Netherlands. Publication of this issue is timely considering that 2019 is the year that will not only see tto celebrate its 30th birthday, but also the year of the introduction of ‘tto 2.0’. Tto has a long-standing relationship with research which will hopefully continue into this new era.  I agree, however, with Dominik Rumlich’s comment from his ‘outsider’ perspective on the special issue that there is still much ground that can be covered. He goes into depth on a number of excellent pathways for future research, but I believe that there are even more directions we could head in.

 

So where do we go from here?

A young participant in my own research commented recently that tto is about so much more than just learning school subjects in English. In the light of the upcoming changes to bilingual education, it may also be time for research to distinguish more clearly between CLIL and other aspects of tto, such as global citizenship and personal development. Furthermore, as schools investigate approaches to teaching and learning that reposition the roles of teachers and learners (e.g. personalized learning), it might be valuable to investigate the viability of ‘traditional’ understandings of CLIL methodologies in such contexts, or whether these too need rethinking. A first step in this direction might be the investigation of whether a pluriliteracies approach as advocated by the Graz Group might suit the Dutch context, or whether a new, context-specific definition of CLIL might be more appropriate.

 

New contexts, new opportunities

Alongside developments within tto itself, bilingual education continues to spread to other areas of education, with the first research projects into bilingual primary education currently underway, and an increasing number of colleges of further education adopting a new variant of the approach. This comes amidst a fierce debate regarding the Anglicisation of higher education and a recent call for universities to follow the pedagogical examples set by tto and CLIL. These developments into different areas of education may lead to new strands of research altogether, creating room for expansion of the Dutch CLIL research community. In a different area of higher education, the Netherlands is host to a number of specialized teacher education tracks at both higher vocational and university level (for example Leiden’s own World Teachers Programme), and it seems a missed opportunity not to investigate how we can most effectively prepare new teachers for the demands that await them.

 

Breaking the CLIL monopoly

The final area that stands out for me in terms of further avenues for CLIL research relates to my own baggage: that of the young, enthusiastic language teacher who could not (and still cannot) believe her luck at falling into the lap of tto. In Anglophone countries, CLIL is often the domain of the language teacher and not of the teacher of Chemistry, History or PE. This raises the question as to whether there might be room in Dutch CLIL research for approaches to integrating content into the broader language curriculum, in order to bring the benefits of this rich approach to language learning to a broader, more inclusive audience. Belgian CLIL could be a source of inspiration for this: as illustrated during the CLIL Connect Conference in Brussels this month, a key difference between our two contexts is that CLIL in the Belgian context is not restricted to English.

 

As I enter my tenth year in the Netherlands and of my relationship with her unique bilingual education paradigm, it strikes me that Dutch research in our field – while undoubtedly impressive – really is just getting started. I, for one, am excited to see where the next ten years will take us.

 

Access the DuJAL Special Issue on CLIL and Bilingual Education via https://benjamins.com/catalog/dujal.7.2.

 

For more thoughts on the potential for more content in the Modern Foreign Languages curriculum, see the website of the Meesterschapsteam mvt at https://modernevreemdetalen.vakdidactiekgw.nl/2018/03/30/visietekst-meesterschapsteam-voor-curriculum-nu/ (in Dutch).

De complexiteit van het organiseren van ruimte  0

In november verscheen in het tijdschrift Pedagogische Studien een themanummer over de professionele ruimte van leraren in het Voortgezet Onderwijs. Hoewel het onderzoek waarover wordt gerapporteerd in dit themanummer bijna 2 jaar geleden werd afgerond, is het thema nog steeds actueel. Ongeveer gelijktijdig verscheen namelijk het rapport ‘Ruim baan voor leraren’ van de Onderwijsraad en het advies van Rinnooy Kan ‘Verkenning leraren’, waarin wordt gesteld dat leraren vrijheid moeten krijgen bij de invulling van docentprofessionalisering. Uit de titels van deze drie publicaties (ruimte, ruim baan, vrijheid) zou je gemakkelijk kunnen afleiden dat het momenteel niet goed gaat met de ruimte/vrijheid van leraren in Nederland.

Is dat zo? In het themanummer van PS wordt de ervaren professionele ruimte van leraren in het voortgezet onderwijs onderzocht in de context van drie professionaliseringinitiatieven (Professionele Leergemeenschappen, Traineeships voor beginnende docenten en de Promotiebeurs voor leraren). Ook wordt het perspectief op professionele ruimte van schoolleiders onderzocht. Uit de vier bijdragen blijkt, kort samengevat, dat leraren in voortgezet onderwijs wel degelijk ruimte ervaren om te werken aan de ontwikkeling van de eigen onderwijspraktijk (individuele ontwikkeling), maar dat de ambitie tot olievlekwerking van eigen ideeën voor het verbeteren van de onderwijspraktijk naar collega’s niet zonder meer te realiseren is. De schoolleiding heeft hierin de uitdagende taak om de schoolorganisatie zo te ontwerpen dat docenten ruimte krijgen en kunnen nemen.

In de discussiebijdrage stelt Joseph Kessels dat er (te?) vaak naar ontwikkelingen in het onderwijs (waaronder docentprofessionalisering) wordt gekeken vanuit afzonderlijke elementen. Voorbeelden hiervan zijn werkdruk, motivatie, leercultuur, etc. Hij pleit voor het kijken naar scholen “als ecologische systemen, waarin niet de afzonderlijke interventies tot specifieke resultaten leiden, maar wel het complexe proces van diverse op elkaar inwerkende dynamische bewegingen”. Ook bespreekt hij dat huidige initiatieven in het kader van docentprofessionalisering veelal zijn gericht op de individuele docent waardoor ruimte om bij te dragen aan de schoolontwikkeling in het gedrang komt. Om dit (beter) te realiseren is een herontwerp van de schoolorganisatie nodig, waarin samenwerking tussen collega’s ten behoeve van het primaire proces vanzelfsprekend is in plaats van dat het door leraren als ‘extra’  wordt ervaren. Dit kan door het individuele lesgeven in klassen volgens een voorgeschreven lesrooster met verplichte leerstof te vervangen door vormen van onderwijs waarbij geredeneerd wordt vanuit de autonomie (of ruimte?) van de leerling.

Tot een dergelijk drastisch herontwerp van de huidige organisaties zal het niet snel komen. Wat mij betreft is het wel een oproep om als onderzoekers in nauwe samenwerking met de onderwijspraktijk de ambitie op te pakken een realistisch herontwerp van schoolorganisaties verder vorm te geven in de toekomst!

 

Link naar het themanummer: http://www.pedagogischestudien.nl/home

 

What I learned from systems thinking – Alma Kuijpers  0

How to solve teacher shortage

About two years ago, I started as a post-doc researcher at ICLON to study the effectivity of the Minor in Teaching, an undergraduate teaching module aimed at attracting academic students to a career in teaching, especially in the STEM area. Coming from a chemistry background with experience in the food industry, I switched to education about ten years ago and worked as a lecturer in chemistry before starting this research project. To get an idea of the problem of concern, I started a broad exploration by gathering a large variety of information: all kinds of relevant reports, interviews with students and teacher educators, student entry data from STEM subjects and teacher education tracks. All these data were visualized in a sort of flow chart, showing the flow of STEM students into the academic teacher education (the Dutch academic teacher education follows a consecutive route), together with all kinds of possible problems and obstructions.

 

About that time, Fred Janssen attended me to systems thinking. I started reading The Fifth Discipline by Peter Senge (2006) and Thinking in Systems by Donella Meadows (2009), and realized that systems thinking provided a suitable framework for my data on the effectivity of the Minor in Teaching. Since its development in the 1970’s and 1980’s, systems thinking has evolved more into a management strategy than a research methodology, however, the methodology addresses complex problems by looking at the whole system of concern and identifying interrelations and patterns of change. Understanding of how the system works will enable identification of leverage points, which are places in a system where a small change will lead to a large shift in behavior. The research data from the Minor in Teaching could easily be structured into a systems thinking framework, and analyzing the student flow patterns in relation to the purpose of the Minor in Teaching led to promising leverage points.

 

In my opinion systems thinking is a valuable methodology for educational research in general, especially when interventions are concerned. Education is always a complex system, with many stakeholders at different levels, many functions and many interactions. Especially when dealing with a wide variety of complex, mixed-method research data, it could be useful to take a systems thinking approach to define the educational system of concern to integrate the results and identify meaningful interrelations and change patterns. With regard to sustainability of interventions, systems thinking provides a hierarchy of leverage points from weak to strong, enabling prioritization of leverage points.

 

What made systems thinking even more valuable to me personally, is that it gave me a foundation how to think about complex problems in general, and teacher shortage in particular. In the Netherlands, interventions aimed at resolving teacher shortage have not had any effect, since the number of STEM students entering the academic teacher education remained constant over the last ten years. According to systems thinking this is a “shifting the burden” archetype: interventions address only “problem symptoms” instead of providing “fundamental solutions”. So what is the fundamental problem of the academic teacher education in the Netherlands? In a consecutive system, only STEM graduates are admitted to the teacher training program, but these students are not necessarily interested in teaching as a profession. The fundamental solution is to increase the interest of STEM students in teaching as a career. Systems thinking learned me that complex problems don’t have simple, short-term solutions but need structural solutions to fundamental problems which require a long-term vision and changing mental models across the organization.

 

References

Meadows, D. H. (2009). Thinking in systems – a primer (Ed. D. Wright). London: Earthscan
Senge, P. M. (2006). The fifth discipline the art and practice of the learning organization. New York: Currency Doubleday.

Onderwijs met ict moet anders. Het roer moet om!  0

Docenten geven les met tablets en smartphones zoals zij altijd al deden. Afgelopen weekend bezocht ik de jaarlijkse IADIS mobile learning conference in Lissabon (http://mlearning-conf.org/). Een kleine onderzoeksconferentie met als focus mobiele technologie die het leren en onderwijzen ondersteunt. Veel presentaties zoals ruim 10 jaar geleden: mooie ict-projecten, opgezet door onderzoekers en ontwerpers, die vooral buiten het reguliere curriculum plaatsvinden. Veel betere techniek dan 10 jaar geleden, dat wel. Draadloos internet, tablets en smartphones zijn niet meer weg te denken uit de maatschappij, de school en het klasklokaal. Maar allemaal niet als onderdeel van de reguliere lespraktijk van docenten.

Doorbraak

Dat hoopte we met het onderzoek in het kader vaan Doorbraak ICT en onderwijs te doorbreken (https://leerling2020.nl/landelijk-onderzoek). In dit project hebben docenten uit het primair en voortgezet onderwijs experimentjes uitgevoerd in hun eigen lespraktijk om met ict gepersonaliseerd leren van leerlingen te faciliteren. Resultaten van dit onderzoek heb ik op de IADIS gepresenteerd. Maar wat wil het geval: overall gezien zien we van de interventies weinig of geen effecten op de prestaties, de motivatie en zelfregulering van leerlingen in het voortgezet onderwijs. Kort door de bocht:

  1. docenten passen hun experimentjes aan het rooster, curriculum en structuur waarin zij (behoren te) functioneren en doen dus wat ze altijd al deden, maar nu met mobiele technologie en
  2. het mobiele karakter van de ingezette smartphones, tablets en laptops wordt niet benut. Geen omgevingsonderwijs; leerlingen blijven in de klas en op school, op hun vaste plek. Het boek en de reader zijn vervangen door een tablet en de digitale leeromgeving.

 

Docentprofessionalisering?

Om dit te veranderen wordt vaak geroepen dat we meer moeten investeren in de professionele ontwikkeling van docenten. Eerlijk gezegd is dat ook een belangrijke suggestie die wij in het onderzoeksrapport hebben opgenomen. Maar het is de vraag of dit gaat helpen. En valt de docent wel wat te verwijten? Docenten passen hun projecten aan aan de reguliere methode en systematiek omdat zij hierop worden aangesproken. Er moet voldoende contacttijd zijn en alle geplande leerstof moet worden behandeld. Bovendien hebben docenten beperkt tijd hebben om andere dingen te doen dan lesgeven; niet-lestijd gaat op aan voor- en nawerk, administratieve klussen en overleggen met je collega’s.

 

Het roer moet om

Willen we een doorbraak bereiken in onderwijs moet het systeem om: meer ruimte (tijd, veiligheid en kunde) om onderwijs te vernieuwen, met ict of op andere manieren. Het roer moet om. Als wij kunnen aantonen in meer dan 40 interventies met meer dan 6000 leerlingen uit ruim 30 scholen voor voortgezet onderwijs dat het overall weinig uitmaakte of en hoe docenten gepersonaliseerd leren met ict in hun onderwijs inzetten, is het tijd voor actie! En dat is niet het afschuiven op de kwaliteit van docenten. Goed gebruik van de ict die nu beschikbaar is en moderne ideeën over hoe je leerprocessen van alle leerlingen kunt ondersteunen vereisen een grotere ingreep in het systeem:

  • Weg met onderwijs in kleine schoolvakken, maar onderwijs in grotere vakdomeinen en multidisciplinaire thema’s
  • Weg met individueel lesgeven, maar team teaching om ook ruimte te geven voor experimenten en leren van elkaar
  • Weg met het roosteren van al het onderwijs in contacturen, maar ruimte voor projectonderwijs, in en buiten de school, in de maatschappij en bedrijven

 

Geef docenten en leerlingen meer ruimte om onderwijs in te richten zoals zij dat willen.

Conference season kick-off  1

The tallest building was our conference venue – not bad!

 

 

 

 

 

 

 

 

 

 

 

After a quiet wintertime, the conference season has officially started! As a researcher, you experience certain peak-times during the year, which are often related to… conferences. For example, in August we usually have to submit papers for international conferences. In January, we submit papers for national conferences held in summer. And just before the international conferences which usually start in April, we have to finish our analyses, write papers and prepare for meetings with our international colleagues who are sometimes our advisors, co-authors or make up our reference-list.

As a lot of ICLON researchers will attend AERA (American Educational Research Association) in New York this year, I will write this blog about a different conference which not so many ICLONners attended: the NARST (National Association for Research in Science Teaching) in Atlanta, US.

Luckily, I was not totally on my own in Atlanta. Because I also have supervisors and colleagues from Delft, we traveled together. With two of my colleagues, we boarded a direct flight to Atlanta on March 8th, 2018. The all-American man sitting two rows behind us was a little disappointed when we told him we were attending a conference (he might have expected something more exciting), but nonetheless told us to “not let them cowboys snatch you up!”.

 

Our view from Amsterdam to Atlanta.

 

 

 

 

 

 

 

 

 

 

 

On our first day in Atlanta, the conference had not started and we did some sightseeing. Although Atlanta is known for many things (Martin Luther King, World of Coca Cola, Say Yes to the Dress, and according to Google the nicest tree-house AirBnB), we decided to go to the Georgia Aquarium, which has an almost 24-million-liter water tank hosting four giant whale sharks, several manta rays and loads of fish. Upon return to our hotel, we ironed our clothes and refined our presentations, as the next day, the conference would start.

 

Breakfast at the Waffle House – not so healthy but a must-do for the all-American experience!

 

 

 

 

 

 

 

 

 

 

Whale sharks in the Georgia Aquarium.

 

 

 

 

 

 

 

 

 

 

 

I had a great time presenting my research in a symposium hosted by my promotor, Jan van Driel, and the three other presenters which I had already met once at the PCK summit. During the conference, there were a lot of presentations by PCK researchers, and it was very informative. Gradually, I met a lot of people who I formerly just knew from their names, which often appeared on my reference list (for example Tamara Moore, Selcen Guzey, Barbara Crawford, Kennedy Chan). If anyone wants more information on the presentations given at NARST, I’d be happy to inform you!

 

I held my presentation during the last session of the first day. Photo by Dury Bayram.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I study the integration of engineering design activities and research activities (or scientific inquiry, as most American researchers call it), and this was the first conference where there were so many presentations and sessions on this topic. I feel that this topic might be more prominently addressed in American education as the National Research Council and the Next Generation Science Standards have also placed emphasis on the combination of research and design in STEM. The Dutch subject O&O (Onderzoeken & Ontwerpen, the Dutch abbreviation for Research & Design) which forms the context of the study I presented, also gained a lot of interest among international researchers.

 

View over Atlanta.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

After four days of conference, and 6 days in Atlanta, I flew home feeling very content with such a productive conference. At this moment, I am still having email conversations with people I met there. It was my first time in the US and my first time at the NARST, and I can really recommend this conference if you’re working on science education as well!

 

Anyone fancy a souvenir…?

 

 

Do you use Cronbach’s alpha to check internal consistency? Don’t! Use Summability.  0

Do you sum questions of your exams to get final scores of students? Do you use a questionnaire with likert-scales? Do you analyze these questionnaires by taking the means of these questionnaire-items? Do you use the mean of questions in evaluation-forms? Do you average response times to items in experimental settings?

 

If you have answered yes to any of these questions, you may (or may not but should) have wondered whether the items in your questionnaire, exam, test, or experiment are (sort of) measuring the same thing, the construct you had intended to be measured. If so, it is more than likely that you have calculated Cronbach’s alpha and (if the value was over .7) happily reported that indeed, the items were internally consistent. If so, you have calculated and reported the wrong measure and you are not alone. Despite the fact that methodologists have shown numerous time that Cronbach’s alpha is not suitable for measuring internal consistency (see Sijtsma, 2009, for instance), in handbooks Cronbach’s alpha can still be found as the prime choice measure to be calculated. Because the intention of questionnaire and test constructers is to summarize the test by its overall sum score, Jelle Goeman (and myself) advocate summability, which is defined as the proportion of total “test” (questionnaire-subset, exam, evaluation) variation that is explained by the sum score.

 

Our paper recently came out in the journal Educational Measurement: Issues and Practice, in which we show summability to be a stable measure across a number of variables (including test or questionnaire length). From the few examples that have been calculated until now, and from insight in the mathematic formula, we can assume that a summability of .5 can be considered “high”. As yet, however, more experience has to be gained on summabilities of tests in various fields before definite recommendations can be given.

 

Therefore, I end this blog with a “Call for Calculations”: please go to (https://sites.google.com/view/summability) and calculate summability yourself, for an existing test, exam, questionnaire, or experiment. You can download the R-code from the website, or use the link to the shiny-app. All you need is a table with items as columns and participants as rows, filled with participants’ scores on the items, supposedly measuring your (one) construct. The table can be in plain text-format or it can be an SPSS-file. Report your scores through the form available on the website. In this way, we will be able to gain a fast accumulation of knowledge of what constitutes “high,” “moderate,” and “low” summabilities. Thank you!

Denk na over onderzoek in de universitaire lerarenopleiding!  0

De universitaire lerarenopleidingen (ulo’s) liggen onder vuur. Dat is niet voor het eerst. De oorzaak voor dit terugkerende verschijnsel is dat het opleiden van docenten – net zoals onderwijs in het algemeen- simpel lijkt, maar het niet is. De meest recente discussie over kwaliteit van de ulo’s lijkt zich toe te spitsen op het onderzoek in de opleiding. Nu de postgraduate opleiding niet doorgaat – waarin geen onderzoek als eindwerk was opgenomen- staat het onderzoek in de masteropleiding weer onder druk. Het zou geen masterniveau hebben of kunnen hebben, is het verhaal. Nu is er zoals geschreven altijd discussie, maar het wordt menens wanneer beleidsmakers zich ermee bemoeien, en helemaal wanneer de politiek dat doet.

Waarom leren doen van onderzoek?

Deze gedachten worden gevoed door opvattingen wat onderzoek in een universitaire opleiding zou moeten zijn. Hierbij wordt het onderzoek vergeleken met de masterthese in een vakmaster, Onderwijsstudies of Pedagogiek. Maar deze masters zijn gericht op studenten die zich ontwikkelen tot wetenschappelijk onderzoeker in een bepaald domein. De ulo is een academische beroepsopleiding die studenten opleidt tot docenten die in staat zijn hun onderwijs te onderzoeken en op basis daarvan te verbeteren. Ofwel het primaire doel van het onderzoek in de ulo is niet het genereren van kennis, maar het verbeteren van de onderwijspraktijk.

Drie soorten kennis nodig

Wellicht kan het onderscheid van Cochran-Smith en Lytle (1999) in drie soorten kennis hierbij van dienst zijn. Het verwerven van deze drie soorten kennis speelt een cruciale rol in het leren van het beroep van docent:
Knowledge for practice – alle kennis en inzichten over schoolvakinhoud, leren en instructie, pedagogiek, etc. die is gebaseerd op wetenschappelijk onderzoek en theorievorming.
Knowledge in practice – alle kennis en inzichten over dezelfde onderwerpen, maar nu gebaseerd op praktijkervaringen en (kritische) reflecties op die praktijk.
Knowledge of practice – alle kennis en inzichten die zijn opgedaan door onderzoek naar de eigen onderwijspraktijk en die van collega’s, met als doel meer te weten te komen van een bepaalde praktijk, waarbij kennis uit wetenschappelijk onderzoek wordt toegepast en als spin-off ook wordt vermeerderd.

Knowledge for practice leren studenten in de cursusonderdelen die worden verzorgd in het opleidingsinstituut, knowledge in practice tijdens de begeleide praktijkervaringen in school en knowledge of practice in het onderzoek dat de studenten tijdens de opleiding doen. Hiermee vormt het onderzoek in de lerarenopleiding ook een natuurlijke brug tussen de inzichten die worden opgedaan op het opleidingsinstituut en de ervaringen in de schoolpraktijk als docent.

Hoe ziet dat onderzoek eruit?

Dat betekent dat het onderzoek van studenten in de lerarenopleiding is ingekaderd door inzichten die zijn verkregen door wetenschappelijk onderzoek en eerdere theorievorming, maar ingegeven door vragen die zij zelf hebben over hun onderwijspraktijk. Tevens moet het onderzoek zodanig zijn opgezet dat het informatie oplevert die studenten helpt bij hun onderwijspraktijk. Effectstudies met (quasi-)experimentele onderzoeksdesigns of grootschalig surveyonderzoek mogen in veel wetenschappelijk onderwijsonderzoek usance zijn, voor een docent-in-opleiding levert dergelijk onderzoek dikwijls weinig aanwijzingen op om de onderwijspraktijk te verbeteren. Probleemanalyse, actie-onderzoek of ontwerponderzoek leveren vaak wel de benodigde informatie op en doen niets af aan het masterniveau van het onderzoek. Integendeel, het lijkt simpel, maar dat is het niet.

Dus

Stop met onzinnige vergelijkingen en ga aan de slag met de specifieke eisen die het opleiden van docenten stelt.

First impressions as a visiting researcher in Victoria, Australia  1

Last week I was in Melbourne to join researchers from two different universities, namely the University of Melbourne and La Trobe University. An aim of my visit was to present my research findings and to learn about Higher Education and Medical Education in Victoria. Upon arriving in Melbourne I found I was in the right place to meet this goal, at least that’s been said on most license plates (‘Victoria – The education state).

The first thing I’ve learned is that student admission to Higher Education is quite different in Australia. In contrast to Dutch secondary education, there are no central school exams before going into university. Australian universities use students’ Australian Tertiary Admission Rank-score (ATAR), in which grades and subjects are combined to determine each student’s score. For example, if students get an ATAR of 80 it means that they outperform 80 per cent of students. Practically speaking, this might encourage students to choose their subjects strategically in order to be admitted to the best universities. In addition, admission requirements differ between universities which means that science, for instance, is not a required subject to study medicine. I don’t know yet what this means for students’ prior knowledge and how teaching staff goes about this when students start studying at university.

La Trobe University is a 50-year old university, a teaching-intensive university in the beginning although nowadays a research-intensive university. Students from the faculty of humanities are engaged in research in education in, for instance, the Hallmark program in their second undergraduate year. Within this program students conduct research projects in small groups with the duration of one year. The research projects are typically multidisciplinary, which provides challenges for the staff members supervising the projects, since they are used to research within their discipline. I was invited to present a study on fostering student learning in research supervision. This presentation was live at four other campuses through video streaming, which was quite an experience. Afterwards we’ve discussed how to enhance student learning in research within a limited amount of curriculum time. A different issue at La Trobe is students having difficulties understanding the English language. Students at La Trobe are from diverse cultural backgrounds, which has implications for promoting student learning.

The University of Melbourne is the oldest research-intensive university of Australia and I was invited to present at a research group meeting of the (bio)medical school. What I got from this is that the role of research in Medical Education isn’t as clear as we might think. So there is still some work to do (and this comment is useful for the introduction and discussion chapter of my thesis J ). It could be helpful to think about how research integration could prepare students for clinical work, building upon studies into other clinical roles (e.g., health advocate, communicator, scholar) as these roles are often not too appealing for students during education. Furthermore, we’ve discussed how to integrate research into undergraduate medical education. At the University of Melbourne there are generally no research activities in the undergraduate learning environment, except for the final year when students are expected to conduct an individual research project. This could hamper a positive student learning experience and learning outcomes.

The discussions in both universities might have implications for Higher Education as well as Medical Education. Our shared experiences indicate that further studies are needed to clarify what learning goals medical education aims for integrating research in teaching. Furthermore, our experiences illustrate that it is not that straigthforward to integrate research in learning activities in a way that promotes student learning.

Thanks to Hannah Schuerholz, Jan van Driel, David Clarke, Liz Malloy and all others being so generous with their time, comments and support. I had a great time in Melbourne. For the next two weeks I’ll be visiting Susan Howitt at the Australian National University in Canberra.

 


Translate »