Like many of you, I'm one of the lucky people. I was born to a family where education was pervasive. I'm a third-generation PhD, a daughter of two academics. In my childhood, I played around in my father's university lab. So it was taken for granted that I attend some of the best universities, which in turn opened the door to a world of opportunity.
Zoals velen van jullie ben ik een gelukzak. In mijn familie was onderwijs overal. Ik ben de derde generatie met een doctoraat, dochter van 2 academici. Als kind speelde ik in het lab van mijn vader. Het lag voor de hand dat ik een uitstekende universiteit bezocht. Dat gaf me geweldige kansen.
Unfortunately, most of the people in the world are not so lucky. In some parts of the world, for example, South Africa, education is just not readily accessible. In South Africa, the educational system was constructed in the days of apartheid for the white minority. And as a consequence, today there is just not enough spots for the many more people who want and deserve a high quality education. That scarcity led to a crisis in January of this year at the University of Johannesburg. There were a handful of positions left open from the standard admissions process, and the night before they were supposed to open that for registration, thousands of people lined up outside the gate in a line a mile long, hoping to be first in line to get one of those positions. When the gates opened, there was a stampede, and 20 people were injured and one woman died. She was a mother who gave her life trying to get her son a chance at a better life.
Helaas hebben de meeste mensen minder geluk. In sommige delen van de wereld, zoals Zuid-Afrika is onderwijs gewoon niet toegankelijk. Het onderwijssysteem van Zuid-Afrika is opgezet ten tijde van de apartheid, voor de blanke minderheid. Het gevolg is dat er vandaag niet genoeg plaatsen zijn voor het veel grotere aantal mensen dat een betere opleiding wil en verdient. Die schaarste leidde in januari van dit jaar tot een crisis in de universiteit van Johannesburg. Er waren een handvol open plaatsen over in het gewone toelatingssysteem. De avond voor de start van de registratie, stonden er duizenden te wachten aan het hek in een rij van 1,5 km, in de hoop dat zij eerst zouden zijn om een plek te bemachtigen. Toen het hek openging, liepen ze elkaar onder de voet. Er waren 20 gewonden. Een vrouw stierf. Het was een moeder die haar leven gaf om haar zoon een kans op een beter leven te geven.
But even in parts of the world like the United States where education is available, it might not be within reach. There has been much discussed in the last few years about the rising cost of health care. What might not be quite as obvious to people is that during that same period the cost of higher education tuition has been increasing at almost twice the rate, for a total of 559 percent since 1985. This makes education unaffordable for many people.
Maar zelfs in de VS, waar onderwijs voorhanden is, is het soms onbereikbaar. De jongste jaren was er veel discussie over de stijgende kosten van de zorg. Wat niet zo evident is, is dat in dezelfde periode de kosten voor hoger onderwijs bijna twee keer zo snel stegen, in totaal 559% sinds 1985. Daardoor is onderwijs voor velen onbetaalbaar.
Finally, even for those who do manage to get the higher education, the doors of opportunity might not open. Only a little over half of recent college graduates in the United States who get a higher education actually are working in jobs that require that education. This, of course, is not true for the students who graduate from the top institutions, but for many others, they do not get the value for their time and their effort.
Zelfs voor diegenen die het hoger onderwijs bereiken, gaan de deuren van de kans niet open. Maar iets meer dan de helft van recent universitair afgestudeerden in de VS heeft een job waarvoor die opleiding nodig is. Dat geldt niet voor de studenten die aan topinstellingen afstuderen, maar vele anderen krijgen geen waar voor hun tijd en moeite.
Tom Friedman, in his recent New York Times article, captured, in the way that no one else could, the spirit behind our effort. He said the big breakthroughs are what happen when what is suddenly possible meets what is desperately necessary. I've talked about what's desperately necessary. Let's talk about what's suddenly possible.
In een recent artikel in de New York Times vatte Tom Friedman, zoals alleen hij dat kan, de geest van onze onderneming. Hij zei dat grote doorbraken gebeuren als wat plots mogelijk is, ook is wat heel erg nodig is. Ik heb het gehad over wat heel erg nodig is. Laten we het hebben over wat plots mogelijk is.
What's suddenly possible was demonstrated by three big Stanford classes, each of which had an enrollment of 100,000 people or more. So to understand this, let's look at one of those classes, the Machine Learning class offered by my colleague and cofounder Andrew Ng. Andrew teaches one of the bigger Stanford classes. It's a Machine Learning class, and it has 400 people enrolled every time it's offered. When Andrew taught the Machine Learning class to the general public, it had 100,000 people registered. So to put that number in perspective, for Andrew to reach that same size audience by teaching a Stanford class, he would have to do that for 250 years. Of course, he'd get really bored.
Dat werd gedemonstreerd door drie grote Stanford-cursussen, waarvoor telkens meer dan 100.000 mensen inschreven. Laten we één van die cursussen bekijken, de cursus Machinaal leren van mijn collega en mede-oprichter, Andrew Ng. Andrew doceert één van de grotere Stanford-cursussen: Machinaal leren, met 400 cursisten telkens als het vak wordt aangeboden. Toen hij het vak gaf aan het algemene publiek, waren er 100.000 inschrijvingen. Om dat in perspectief te zetten: om evenveel mensen te bereiken door een Stanford-cursus te geven, moest hij dat 250 jaar volhouden. Hij zou zich erg gaan vervelen.
So, having seen the impact of this, Andrew and I decided that we needed to really try and scale this up, to bring the best quality education to as many people as we could. So we formed Coursera, whose goal is to take the best courses from the best instructors at the best universities and provide it to everyone around the world for free. We currently have 43 courses on the platform from four universities across a range of disciplines, and let me show you a little bit of an overview of what that looks like.
Toen we de impact hiervan zagen, beslisten Andrew en ik dat we een schaalvergroting moesten proberen, om het beste onderwijs te brengen voor zoveel mogelijk mensen. We stichtten Coursera. Doel is om de beste cursussen van de beste lesgevers aan de beste universiteiten aan iedereen in de wereld gratis aan te bieden. Momenteel hebben we 43 vakken op het platform van 4 universiteiten, in een reeks domeinen. Ik geef jullie een overzicht van hoe dat eruit ziet.
(Video) Robert Ghrist: Welcome to Calculus.
(Video) Robert Ghrist: Welkom bij het vak Analyse.
Ezekiel Emanuel: Fifty million people are uninsured.
Ezekiel Emanuel: 50 miljoen mensen hebben geen verzekering.
Scott Page: Models help us design more effective institutions and policies. We get unbelievable segregation.
Scott Page: Modellen helpen ons om instellingen en beleid te verbeteren. We krijgen ongelooflijke segregatie.
Scott Klemmer: So Bush imagined that in the future, you'd wear a camera right in the center of your head.
Scott Klemmer: Bush dacht dat je in de toekomst een camera op je voorhoofd zou dragen.
Mitchell Duneier: Mills wants the student of sociology to develop the quality of mind ...
Mitchell Duneier: Mills wilde dat de sociologiestudent de kwaliteit zou ontwikkelen …
RG: Hanging cable takes on the form of a hyperbolic cosine.
RG: Hangende kabel neemt de vorm aan van een hyperbolische cosinus.
Nick Parlante: For each pixel in the image, set the red to zero.
Nick Parlante: Voor elke pixel in het beeld zet je het rood op nul.
Paul Offit: ... Vaccine allowed us to eliminate polio virus.
Paul Offit: … vaccin elimineerde het poliovirus.
Dan Jurafsky: Does Lufthansa serve breakfast and San Jose? Well, that sounds funny.
Dan Jurafsky: Serveert Lufthansa ontbijt en San Jose? Dat klinkt gek.
Daphne Koller: So this is which coin you pick, and this is the two tosses.
Daphne Koller: Dit is welk munstuk je kiest, dit is twee keer opgooien.
Andrew Ng: So in large-scale machine learning, we'd like to come up with computational ...
Andrew Ng: Bij machinaal leren op grote schaal, bedenken we graag berekeningen …
(Applause)
(Applaus)
DK: It turns out, maybe not surprisingly, that students like getting the best content from the best universities for free. Since we opened the website in February, we now have 640,000 students from 190 countries. We have 1.5 million enrollments, 6 million quizzes in the 15 classes that have launched so far have been submitted, and 14 million videos have been viewed.
DK: Blijkt, niet verrassend, dat studenten graag de beste inhoud van de beste universiteiten gratis krijgen. Sinds de lancering van de website in februari hebben we al 640.000 studenten uit 190 landen. We hebben 1,5 miljoen inschrijvingen, 6 miljoen afgelegde proeven in de 15 vakken die gestart zijn, en 14 miljoen bekeken video’s.
But it's not just about the numbers, it's also about the people. Whether it's Akash, who comes from a small town in India and would never have access in this case to a Stanford-quality course and would never be able to afford it. Or Jenny, who is a single mother of two and wants to hone her skills so that she can go back and complete her master's degree. Or Ryan, who can't go to school, because his immune deficient daughter can't be risked to have germs come into the house, so he couldn't leave the house. I'm really glad to say -- recently, we've been in correspondence with Ryan -- that this story had a happy ending. Baby Shannon -- you can see her on the left -- is doing much better now, and Ryan got a job by taking some of our courses.
Maar het gaat niet alleen om cijfers. Het gaat ook om mensen. Of het nu Akash is, uit een kleine stad in India, die nooit toegang zou hebben tot een cursus van Stanford-kwaliteit en het nooit zou kunnen betalen. Of Jenny, alleenstaande moeder van twee, die haar kennis wil opfrissen om haar universitaire opleiding te kunnen afwerken. Of Ryan, die niet naar school kan omdat de immuniteitsziekte van zijn dochter geen risico op bacteriën in huis toelaat, zodat hij het huis niet kan verlaten. Ik ben erg blij om mee te delen -- we hebben recent met Ryan gecorrespondeerd -- dat dit verhaal goed afloopt. Baby Shannon, die je links ziet, doet het veel beter. Ryan vond werk dankzij één van onze cursussen.
So what made these courses so different? After all, online course content has been available for a while. What made it different was that this was real course experience. It started on a given day, and then the students would watch videos on a weekly basis and do homework assignments. And these would be real homework assignments for a real grade, with a real deadline. You can see the deadlines and the usage graph. These are the spikes showing that procrastination is global phenomenon.
Wat maakte deze cursussen zo anders? Er waren al eerder online cursussen voorhanden. Maar dit was een echte cursuservaring. Het begon op een bepaalde dag, studenten moesten video’s bekijken op weekbasis en huiswerk maken. Dat was echt huiswerk, met echte punten en een echte deadline. Daar zijn de deadlines en de gebruiksgrafiek. De pieken tonen dat uitstelgedrag universeel is.
(Laughter)
(Gelach)
At the end of the course, the students got a certificate. They could present that certificate to a prospective employer and get a better job, and we know many students who did. Some students took their certificate and presented this to an educational institution at which they were enrolled for actual college credit. So these students were really getting something meaningful for their investment of time and effort.
Op het einde van de cursus kregen de studenten een getuigschrift. Dat konden ze voorleggen aan een werkgever om beter werk te vinden. We weten dat vele studenten dat deden. Sommigen legden hun getuigschrift voor aan hun onderwijsinstelling om echte universitaire credits te krijgen. Ze kregen iets betekenisvols terug in ruil voor hun tijd en moeite.
Let's talk a little bit about some of the components that go into these courses. The first component is that when you move away from the constraints of a physical classroom and design content explicitly for an online format, you can break away from, for example, the monolithic one-hour lecture. You can break up the material, for example, into these short, modular units of eight to 12 minutes, each of which represents a coherent concept. Students can traverse this material in different ways, depending on their background, their skills or their interests. So, for example, some students might benefit from a little bit of preparatory material that other students might already have. Other students might be interested in a particular enrichment topic that they want to pursue individually. So this format allows us to break away from the one-size-fits-all model of education, and allows students to follow a much more personalized curriculum.
Laten we het even hebben over de onderdelen van deze cursussen. Eén: als je bevrijd bent van de beperkingen van een fysiek klaslokaal en cursussen specifiek voor online-gebruik ontwerpt, kan je afwijken van het monolithische lesblok van één uur. Je kan materiaal opdelen in kleine modules van 8 tot 12 minuten, die elk een coherent concept voorstellen. Studenten kunnen het materiaal op verschillende manieren doorploegen, afhankelijk van hun achtergrond, vaardigheden en belangstelling. Sommige studenten kunnen baat hebben bij voorbereidend materiaal dat anderen misschien al kennen. Anderen hebben interesse voor bepaalde verrijkingsstof die ze individueel willen studeren. In dit formaat kunnen we afwijken van het ‘one-size-fits-all’-onderwijsmodel. Studenten kunnen een veel meer gepersonaliseerd curriculum volgen.
Of course, we all know as educators that students don't learn by sitting and passively watching videos. Perhaps one of the biggest components of this effort is that we need to have students who practice with the material in order to really understand it. There's been a range of studies that demonstrate the importance of this. This one that appeared in Science last year, for example, demonstrates that even simple retrieval practice, where students are just supposed to repeat what they already learned gives considerably improved results on various achievement tests down the line than many other educational interventions.
Als lesgevers weten we allemaal dat studenten niet leren door te zitten en passief te kijken. Eén van de grootste onderdelen van ons project is dat studenten moeten oefenen met het materiaal om het echt te begrijpen. Een reeks studies tonen het belang daarvan aan. Deze bijvoorbeeld, vorig jaar in Science, toont dat zelfs gewoon kennis herhalen, waarbij studenten moeten herhalen wat ze al kennen, veel betere resultaten geeft op toetsen achteraf dan andere educatieve interventies.
We've tried to build in retrieval practice into the platform, as well as other forms of practice in many ways. For example, even our videos are not just videos. Every few minutes, the video pauses and the students get asked a question.
We hebben herhalingsoefeningen in het platform ingebouwd, en ook andere soorten oefeningen. Zelfs onze video’s zijn niet gewoon video’s. Om de paar minuten stopt de video en krijgen de studenten een vraag.
(Video) SP: ... These four things. Prospect theory, hyperbolic discounting, status quo bias, base rate bias. They're all well documented. So they're all well documented deviations from rational behavior.
(Video) SP: … deze vier dingen. Prospect-theorie, hyperbolisch verdisconteren, neiging tot status quo, neiging tot de basisratio. Dit zijn goed gedocumenteerde afwijkingen van het rationele gedrag.
DK: So here the video pauses, and the student types in the answer into the box and submits. Obviously they weren't paying attention.
DK: Hier stopt de video. De student tikt het antwoord in het vakje en stuurt het door. Ze letten niet zo goed op.
(Laughter)
(Gelach)
So they get to try again, and this time they got it right. There's an optional explanation if they want. And now the video moves on to the next part of the lecture. This is a kind of simple question that I as an instructor might ask in class, but when I ask that kind of a question in class, 80 percent of the students are still scribbling the last thing I said, 15 percent are zoned out on Facebook, and then there's the smarty pants in the front row who blurts out the answer before anyone else has had a chance to think about it, and I as the instructor am terribly gratified that somebody actually knew the answer. And so the lecture moves on before, really, most of the students have even noticed that a question had been asked. Here, every single student has to engage with the material.
Dus mogen ze opnieuw proberen, en nu hebben ze het goed. Er is een facultatieve uitleg, als ze willen. Nu gaat de video naar het volgende deel over. Dit is een simpele vraag die ik als lesgever misschien in de les stel, maar als ik dat doe in de les, dan zijn 80 procent van de studenten mijn laatste woorden nog aan het noteren, 15 procent is verdwenen naar Facebook en dan is er de slimmerik op de eerste rij die het antwoord roept nog voor een ander erover heeft kunnen nadenken. Als lesgever ben ik intens dankbaar dat iemand het antwoord wist. De les gaat dus verder voor de meeste studenten door hebben dat er een vraag werd gesteld. Hier moet elke student aan de slag met het materiaal.
And of course these simple retrieval questions are not the end of the story. One needs to build in much more meaningful practice questions, and one also needs to provide the students with feedback on those questions. Now, how do you grade the work of 100,000 students if you do not have 10,000 TAs? The answer is, you need to use technology to do it for you. Now, fortunately, technology has come a long way, and we can now grade a range of interesting types of homework. In addition to multiple choice and the kinds of short answer questions that you saw in the video, we can also grade math, mathematical expressions as well as mathematical derivations. We can grade models, whether it's financial models in a business class or physical models in a science or engineering class and we can grade some pretty sophisticated programming assignments.
Deze simpele herhalingsvraagjes zijn niet het einde van het verhaal. We moeten slimmere oefenvragen inbouwen, en studenten feedback geven over die vragen. Hoe evalueer je het werk van 100.000 studenten als je geen 10.000 assistenten hebt? Je moet technologie gebruiken om het voor jou te doen. Gelukkig staat de technologie al ver. We kunnen nu interessante types huiswerk evalueren. Behalve meerkeuzevragen en de korte antwoorden die je in de video zag, evalueren we ook wiskundige uitdrukkingen en wiskundige afleidingen. We evalueren modellen, financiële modellen in een economiecursus of fysica-modellen in een wetenschapscursus. We evalueren ook gesofisticeerde programmeeropdrachten.
Let me show you one that's actually pretty simple but fairly visual. This is from Stanford's Computer Science 101 class, and the students are supposed to color-correct that blurry red image. They're typing their program into the browser, and you can see they didn't get it quite right, Lady Liberty is still seasick. And so, the student tries again, and now they got it right, and they're told that, and they can move on to the next assignment. This ability to interact actively with the material and be told when you're right or wrong is really essential to student learning.
Deze hier is eenvoudig, maar erg visueel. Uit de Cursus Computerwetenschappen van Stanford. De studenten moeten kleurcorrectie doen in dat wazige rode beeld. Ze tikken hun programma in de browser in. Dit ging niet zo goed. Het vrijheidsbeeld is nog zeeziek. De studenten proberen opnieuw. Dit is goed, ze krijgen feedback en kunnen aan de volgende taak beginnen. Het vermogen om actief met het materiaal aan de slag te gaan en te horen of het goed of fout is, is essentieel voor het leren.
Now, of course we cannot yet grade the range of work that one needs for all courses. Specifically, what's lacking is the kind of critical thinking work that is so essential in such disciplines as the humanities, the social sciences, business and others. So we tried to convince, for example, some of our humanities faculty that multiple choice was not such a bad strategy. That didn't go over really well.
We kunnen nog niet alle types evalueren die je nodig hebt voor alle cursussen. Wat ontbreekt, zijn taken van kritisch denken die essentieel zijn in bijvoorbeeld humane en politieke wetenschappen, economie enzovoort. We praatten in op professoren humane wetenschappen: meerkeuzevragen waren toch niet zo’n slechte strategie? Dat schoot in het verkeerde keelgat.
So we had to come up with a different solution. And the solution we ended up using is peer grading. It turns out that previous studies show, like this one by Saddler and Good, that peer grading is a surprisingly effective strategy for providing reproducible grades. It was tried only in small classes, but there it showed, for example, that these student-assigned grades on the y-axis are actually very well correlated with the teacher-assigned grade on the x-axis. What's even more surprising is that self-grades, where the students grade their own work critically -- so long as you incentivize them properly so they can't give themselves a perfect score -- are actually even better correlated with the teacher grades. And so this is an effective strategy that can be used for grading at scale, and is also a useful learning strategy for the students, because they actually learn from the experience. So we now have the largest peer-grading pipeline ever devised, where tens of thousands of students are grading each other's work, and quite successfully, I have to say.
We moesten een andere oplossing vinden. Die kreeg de vorm van evaluatie door medestudenten. Het blijkt uit eerdere studies, zoals deze van Saddler en Good, dat evaluatie door medestudenten verrassend goed werkt en herhaalbare scores oplevert. Het werd enkel getest in kleine klassen. Het resultaat was dat de scores die de studenten gaven, op de Y-as, goed gecorreleerd zijn met de scores die de lesgevers gaven, op de X-as. Nog verrassender is dat de zelf-scores, waar ze hun eigen werk kritisch beoordelen -- voor zover de incentives correct zijn en ze zichzelf geen perfecte score kunnen geven -- nog beter gecorreleerd zijn met die van de lesgevers. Dit is een effectieve strategie die kan dienen voor evaluatie op grote schaal en die ook een nuttige leerstrategie is voor de studenten, die uit de ervaring leren. Wij hebben nu de grootste ‘peer grading’-pijplijn ooit, waarin tienduizenden studenten elkaars werk evalueren, met veel succes, moet ik zeggen.
But this is not just about students sitting alone in their living room working through problems. Around each one of our courses, a community of students had formed, a global community of people around a shared intellectual endeavor. What you see here is a self-generated map from students in our Princeton Sociology 101 course, where they have put themselves on a world map, and you can really see the global reach of this kind of effort.
Dit gaat niet alleen over studenten die in hun huiskamer vraagstukken zitten oplossen. Rond elk van onze cursussen vormde zich een studentengemeenschap, een wereldwijde gemeenschap rondom een gedeelde intellectuele inspanning. Hier zie je een zelf-gegenereerde kaart van studenten in onze Princeton-sociologiecursus 101, waar ze zich op een wereldkaart moesten zetten. Je ziet dat het bereik wereldwijd is.
Students collaborated in these courses in a variety of different ways. First of all, there was a question and answer forum, where students would pose questions, and other students would answer those questions. And the really amazing thing is, because there were so many students, it means that even if a student posed a question at 3 o'clock in the morning, somewhere around the world, there would be somebody who was awake and working on the same problem. And so, in many of our courses, the median response time for a question on the question and answer forum was 22 minutes. Which is not a level of service I have ever offered to my Stanford students.
Studenten werkten samen op veel verschillende manieren. Er was een vraag-en-antwoord-forum, waar studenten vragen achterlieten die andere studenten beantwoordden. Het verbazende is dat, omdat er zoveel studenten waren, zelfs voor een vraag die werd gesteld om 3 uur ’s ochtends, er ergens ter wereld iemand wakker was die met hetzelfde bezig was. In vele cursussen was de mediaan van de antwoordtijden op het forum 22 minuten. Dat niveau van dienstverlening heb ik mijn Stanfordstudenten nooit geboden.
(Laughter)
(Gelach)
And you can see from the student testimonials that students actually find that because of this large online community, they got to interact with each other in many ways that were deeper than they did in the context of the physical classroom. Students also self-assembled, without any kind of intervention from us, into small study groups. Some of these were physical study groups along geographical constraints and met on a weekly basis to work through problem sets. This is the San Francisco study group, but there were ones all over the world. Others were virtual study groups, sometimes along language lines or along cultural lines, and on the bottom left there, you see our multicultural universal study group where people explicitly wanted to connect with people from other cultures.
Je merkt aan de getuigenissen van studenten dat ze vinden dat deze grote onlinegemeenschap leidde tot andere soorten interactie die soms dieper was dan in het fysieke leslokaal. De studenten organiseerden zich ook, zonder dat wij tussenkwamen, in kleine studiegroepen. Soms was dat fysiek, volgens geografische lijnen, en spraken ze wekelijks af om taken op te lossen. Dit is de studiegroep uit San Francisco. Er waren er over de hele wereld. Soms waren ze virtueel, soms per taal, per cultuur, en daar linksonder zie je onze multiculturele universele studiegroep, waarin mensen expliciet contact zochten met mensen uit andere culturen.
There are some tremendous opportunities to be had from this kind of framework. The first is that it has the potential of giving us a completely unprecedented look into understanding human learning. Because the data that we can collect here is unique. You can collect every click, every homework submission, every forum post from tens of thousands of students. So you can turn the study of human learning from the hypothesis-driven mode to the data-driven mode, a transformation that, for example, has revolutionized biology. You can use these data to understand fundamental questions like, what are good learning strategies that are effective versus ones that are not? And in the context of particular courses, you can ask questions like, what are some of the misconceptions that are more common and how do we help students fix them?
Geweldige kansen bieden zich aan in dit soort raamwerk. Ten eerste krijgen we potentieel een inzicht zonder voorgaande in het menselijke leren. De gegevens die we hier verzamelen, zijn uniek. Je kan elke klik, elke inzending van een taak, elke forumpost verzamelen van tienduizenden studenten. Je kan de studie van het menselijke leren van de hypothese-gedreven modus naar de data-gedreven modus omschakelen, wat bijvoorbeeld in de biologie een revolutie was. Je kan de gegevens gebruiken om fundamentele vragen te begrijpen, zoals: wat zijn goede leerstrategieën en welke zijn niet effectief? In de context van bepaalde cursussen kan je vragen stellen zoals: wat zijn de meest gangbare misverstanden en hoe helpen we de studenten ervan af?
So here's an example of that, also from Andrew's Machine Learning class. This is a distribution of wrong answers to one of Andrew's assignments. The answers happen to be pairs of numbers, so you can draw them on this two-dimensional plot. Each of the little crosses that you see is a different wrong answer. The big cross at the top left is where 2,000 students gave the exact same wrong answer. Now, if two students in a class of 100 give the same wrong answer, you would never notice. But when 2,000 students give the same wrong answer, it's kind of hard to miss. So Andrew and his students went in, looked at some of those assignments, understood the root cause of the misconception, and then they produced a targeted error message that would be provided to every student whose answer fell into that bucket, which means that students who made that same mistake would now get personalized feedback telling them how to fix their misconception much more effectively.
Hier is een voorbeeld, ook uit de cursus van Andrew over Machinaal leren. Dit is de verdeling van de foute antwoorden op één van Andrews opdrachten. De antwoorden zijn getallenparen, zodat je dit in twee dimensies kan weergeven. Elk kruisje is een verschillend fout antwoord. Het grote kruis linksboven is waar 2.000 studenten exact hetzelfde foute antwoord gaven. Als in een groep van 100 studenten er 2 hetzelfde antwoord geven, valt dat niet op. Als 2.000 studenten dat doen, kan je er niet naast kijken. Andrew en zijn studenten doken erin, keken naar de taken, begrepen de oorzaak van de misvatting en maakten een gerichte foutboodschap voor elke student die in dat mandje terechtkwam. Studenten die dezelfde fout maakten, kregen zo gepersonaliseerde feedback om hun misvatting efficiënter te kunnen bijsturen.
So this personalization is something that one can then build by having the virtue of large numbers. Personalization is perhaps one of the biggest opportunities here as well, because it provides us with the potential of solving a 30-year-old problem. Educational researcher Benjamin Bloom, in 1984, posed what's called the 2 sigma problem, which he observed by studying three populations. The first is the population that studied in a lecture-based classroom. The second is a population of students that studied using a standard lecture-based classroom, but with a mastery-based approach, so the students couldn't move on to the next topic before demonstrating mastery of the previous one. And finally, there was a population of students that were taught in a one-on-one instruction using a tutor. The mastery-based population was a full standard deviation, or sigma, in achievement scores better than the standard lecture-based class, and the individual tutoring gives you 2 sigma improvement in performance.
Deze personalisatie kan je uitbouwen doordat je grote getallen hebt. Personalisatie is wellicht één van de grootste kansen, omdat we de mogelijkheid krijgen om een 30 jaar oud probleem op te lossen. Onderwijsvorser Benjamin Bloom stelde in 1984 het zogenaamde 2-sigma-vraagstuk voor. Hij kwam ertoe door 3 populaties te bestuderen. Ten eerste: de populatie die studeert via lessen in een klas. Ten tweede: de populatie die studeert via lessen in een klas, op basis van een ‘meesterschaps’-aanpak waarbij ze pas naar het volgende onderwerp mogen als ze tonen dat ze het vorige beheersen. Tenslotte was er een groep studenten die één-op-één les kregen van een lesgever. De meesterschapsgroep was een volle standaarddeviatie, of sigma, beter qua prestatiescore dan de groep die les kreeg in de klas, en één-op-één-lessen gaven 2 sigma verbetering qua prestaties.
To understand what that means, let's look at the lecture-based classroom, and let's pick the median performance as a threshold. So in a lecture-based class, half the students are above that level and half are below. In the individual tutoring instruction, 98 percent of the students are going to be above that threshold. Imagine if we could teach so that 98 percent of our students would be above average. Hence, the 2 sigma problem.
Om te begrijpen wat dat betekent, kijken we even naar de les in de klas. De mediaanprestatie beschouwen we als een drempel. Bij een les in de klas zit de helft van de studenten erboven en de helft eronder. In de individuele les zit 98 procent erboven. Stel je voor dat we zo zouden lesgeven dat 98 procent van de studenten bovengemiddeld was. Dat is het 2-sigmaprobleem.
Because we cannot afford, as a society, to provide every student with an individual human tutor. But maybe we can afford to provide each student with a computer or a smartphone. So the question is, how can we use technology to push from the left side of the graph, from the blue curve, to the right side with the green curve? Mastery is easy to achieve using a computer, because a computer doesn't get tired of showing you the same video five times. And it doesn't even get tired of grading the same work multiple times, we've seen that in many of the examples that I've shown you. And even personalization is something that we're starting to see the beginnings of, whether it's via the personalized trajectory through the curriculum or some of the personalized feedback that we've shown you. So the goal here is to try and push, and see how far we can get towards the green curve.
Als maatschappij kunnen we het ons niet veroorloven om elke student een individuele lesgever te geven. Maar misschien lukt dat wel voor een computer of een smartphone. De vraag is hoe we technologie kunnen gebruiken om van de linkerkant, van de blauwe lijn, naar de rechterkant, de groene lijn, op te schuiven. Meesterschap kan je met een computer snel verwerven, want een computer wordt het niet beu om je dezelfde video 5 keer te tonen. Hij wordt het zelfs niet beu om hetzelfde werk meermaals te verbeteren. Dat zagen we in vele voorbeelden die ik toonde. Ook personalisatie staat in zijn kinderschoenen, hetzij via een persoonlijk leertraject en curriculum, hetzij via gepersonaliseerde feedback. Ons doel is om door te zetten en zo ver mogelijk richting groene curve op te schuiven.
So, if this is so great, are universities now obsolete? Well, Mark Twain certainly thought so. He said that, "College is a place where a professor's lecture notes go straight to the students' lecture notes, without passing through the brains of either."
Als dit zo goed is, waarom zijn universiteiten dan zo ouderwets? Mark Twain vond dat alleszins: “De universiteit is een plek waar de lesnotities van de professor recht naar de lesnotities van de studenten gaan, zonder omweg langs het brein van de ene of de andere.”
(Laughter)
(Gelach)
I beg to differ with Mark Twain, though. I think what he was complaining about is not universities but rather the lecture-based format that so many universities spend so much time on. So let's go back even further, to Plutarch, who said that, "The mind is not a vessel that needs filling, but wood that needs igniting." And maybe we should spend less time at universities filling our students' minds with content by lecturing at them, and more time igniting their creativity, their imagination and their problem-solving skills by actually talking with them.
Ik ben het beleefd oneens met Mark Twain. Hij klaagt niet zozeer over universiteiten als over de les in de klas waar zovele universiteiten zoveel tijd insteken. Laten we verder teruggaan, naar Plutarchus: “De geest is geen vat dat moet gevuld worden, maar hout dat moet ontstoken worden.” Misschien moeten we minder tijd besteden om de geesten van onze studenten met inhoud te vullen door les te geven, en meer aan het ontsteken van hun creativiteit, hun verbeelding en probleemoplossend vermogen door met hen te praten.
So how do we do that? We do that by doing active learning in the classroom. So there's been many studies, including this one, that show that if you use active learning, interacting with your students in the classroom, performance improves on every single metric -- on attendance, on engagement and on learning as measured by a standardized test. You can see, for example, that the achievement score almost doubles in this particular experiment. So maybe this is how we should spend our time at universities.
Hoe doen we dat? Door actief te leren in de klas. Er zijn veel studies, waaronder deze, die aantonen dat bij actief leren, interactie met studenten in de klas, de prestaties bij alle metingen verbeteren: aanwezigheid, engagement en leren, gemeten in een gestandaardiseerde test. Je ziet bijvoorbeeld dat de prestatiescore hier bijna verdubbelt. Misschien is dat hoe we onze tijd moeten doorbrengen aan de unversiteit.
So to summarize, if we could offer a top quality education to everyone around the world for free, what would that do? Three things. First it would establish education as a fundamental human right, where anyone around the world with the ability and the motivation could get the skills that they need to make a better life for themselves, their families and their communities.
Kortom, als we onderwijs van topkwaliteit kunnen geven aan iedereen in de wereld, gratis, waar leidt dat dan toe? Drie dingen. Eén: onderwijs zou een fundamenteel mensenrecht zijn, waarbij iedereen in de wereld die het kan en wil, de nodige vaardigheden kan ontwikkelen om een beter leven op te bouwen voor zichzelf, zijn familie en gemeenschap.
Second, it would enable lifelong learning. It's a shame that for so many people, learning stops when we finish high school or when we finish college. By having this amazing content be available, we would be able to learn something new every time we wanted, whether it's just to expand our minds or it's to change our lives.
Twee: levenslang leren zou mogelijk worden. Het is jammer dat voor zovele mensen het leren stopt aan het einde van het middelbaar of de universiteit. Doordat we dit geweldige materiaal hebben, kunnen we iets nieuws leren wanneer we maar willen, om onze geest te verruimen of om ons leven te veranderen.
And finally, this would enable a wave of innovation, because amazing talent can be found anywhere. Maybe the next Albert Einstein or the next Steve Jobs is living somewhere in a remote village in Africa. And if we could offer that person an education, they would be able to come up with the next big idea and make the world a better place for all of us.
Tenslotte zou er een innovatiegolf mogelijk worden, want geweldig talent vind je overal. Misschien woont de volgende Albert Einstein of Steve Jobs in een afgelegen dorp in Afrika. Als we hem onderwijs kunnen bieden, kunnen zij het volgende grote idee ontwikkelen waardoor de wereld voor ons allen beter wordt.
Thank you very much.
Hartelijk dank.
(Applause)
(Applaus)