For as long as I remember, I've loved mathematics. Actually, it's not 100 percent true. I've loved mathematics for all but a two-week period in senior high school.
제가 기억하는 한, 저는 수학을 사랑합니다. 사실 100% 맞는 말은 아니겠네요. 수학을 늘 좋아하기는 했지만 딱 2주 동안은 아니었죠. 고등학생 때였습니다.
(Laughter)
(웃음)
I was top of my class, and we were about to start the Extension Maths course. I was really excited about this brand new topic coming up, complex numbers. I like complex. My teacher was priming us for the concepts with some questions about square roots. Square of nine -- three; square of 256 -- sixteen. Too easy. Then she asked the trick question: What about the square root of negative one? Of course, we were all over it -- "Come on, Miss! We all know you can't take the square root of a negative." "That's true in the real world," she said. "But in the complex world, the square root of negative one is the imaginary number i."
당시 저는 반 1등이었고 저희는 심화 수학 과정에 들어갈 차례였습니다. 새로 나갈 진도에 대해 기대감이 아주 컸습니다. 복소수였죠. 저는 복잡한 걸 좋아합니다. 선생님은 개념을 잡아주시려고 제곱근 문제를 몇 개 내셨습니다. 9의 제곱근은? 3 256의 제곱근? 16 너무 쉬웠죠. 그런데 갑자기 이상한 문제를 내셨습니다. 그러면 -1의 제곱근은? 당연히 우리는 모두 답했죠. "에이, 선생님! 마이너스에는 제곱근이 적용될 수 없잖아요." 선생님은 말씀하셨습니다. "현실에서는 그렇지만 복잡한 세계에서는, -1의 제곱근은 허수 i란다."
(Laughter)
(웃음)
That day, my entire mathematical world came crashing down on me.
그 날 제가 믿어온 수학 세계관은 완전히 무너져 버렸죠.
(Laughter)
(웃음)
"Imaginary numbers? Seriously? But mathematics is a source of truth, please don't go abstract on me. I would have studied art if I wanted to play with imaginary numbers."
"허수라고? 그게 말이 돼? 수학은 진리의 원천이잖아, 이건 너무 추상적이면 안돼죠. 내가 미술을 공부했겠지. 허수 같은 걸 배울 거였으면."
(Laughter)
(웃음)
"This is Extension Maths, let's get back with our program!" She didn't, and over the next couple of weeks, I reluctantly performed meaningless calculations,
"심화 수학 들어갈 차례잖아요. 그냥 수업해요!" 라고 말했지만 선생님은 그러지 않으셨죠. 그리고 그 후 약 2주간 저는 아무 의미 없는 계산을 억지로 해야만 했습니다.
(Laughter)
(웃음)
finding imaginary solutions to quadratic equations.
이차방정식에 대한 상상의 해법을 찾아내야만 했죠.
(Laughter)
(웃음)
But then something amazing happened. We began finding elegant solutions to real-world problems we previously had no answers to, starting with the complex world of imaginary numbers. So some mathematician 500 years ago decides to have some fun and make up these imaginary numbers, and because of that we can now derive these amazing identities with applications in the real world, in fields like electrical engineering. Wow! I gained a whole new level of appreciation for mathematics. And after my brief mistrust, I was now in love with the subject more than ever.
그런데 놀라운 일이 벌어졌습니다. 명쾌한 답을 찾기 시작한 거죠. 전에는 풀지 못한 현실 세계 문제들에 대해 말이죠. 복잡한 세계에나 존재하는 허수를 통해서요. 500년 전 어떤 수학자들은 재미로 이런 허수들을 만들었겠지만 덕분에 현재 우리가 이런 기막힌 항등식을 도출해 실제로 적용할 수 있게 된 거죠. 전기공학 같은 분야에서요. 와우! 수학의 신세계를 경험하였죠. 이렇게 짧은 불신이 해결되고 나니 수학이 그 어느 때보다도 더 매력적으로 다가왔습니다.
Francis Su, the mathematician, sums it up beautifully when he says, "We study mathematics for play, for beauty, for truth, for justice and for love." But if you ask a student today, you'll probably hear a different story. You might hear "difficult" and "boring." And they might be right about difficult. But it's certainly not boring. In fact, I'd say being difficult to master is part of what makes it beautiful. Because nothing worth doing is easy.
수학자 프랜시스 수는 수학에 대해 이런 멋진 표현을 썼습니다. "우리가 수학을 공부하는 이유는 재미있고, 매력적일 뿐 아니라 진리를 찾고 정의와 사랑을 실현하기 위함이다." 하지만 요즘 학생에게 물어보면 전혀 다른 이야기를 듣게 될 겁니다. 아마 어렵고 지루하다고 하겠죠. 어렵다는 말은 맞을 수도 있습니다. 그렇지만 분명 지루한 건 아닙니다. 사실, 마스터하기 어렵기 때문에 더 매력적인 것이죠. 쉬운 것은 그 만큼 가치가 없으니까요.
So we need students to stick around long enough through the difficult parts to appreciate the beauty when it all ties together. Much like I did for that brief couple of weeks in high school. Unfortunately, our school systems -- we move students through mathematics in a lockstep process. So those who fall a little behind find it near impossible to ever catch up and appreciate that beauty.
때문에 학생들은 충분한 시간을 가지고 그 힘든 과정을 겪어봐야 하며 모든 걸 연결하여 수학의 매력을 느끼게 될 겁니다. 고등학생 때 2주 동안 제가 그랬던 것처럼 말이죠. 안타깝게도, 현재 교육 시스템에서는 모든 학생들이 똑같이 수학 진도를 나갑니다. 따라서 조금 뒤쳐지는 학생들은 수학의 매력을 느끼기는커녕 진도 쫓아가는 것도 버거워합니다.
But why is this a problem? Why should we care? Well today, more than ever, our world needs every citizen to be skilled in mathematics. With the advent of artificial intelligence and automation, many of the jobs we see today will either not exist or be transformed to require less routine work and more analysis and application of expertise. But we're not producing the extra mathematics students to fill these new roles.
이게 왜 문제일까요? 왜 이 문제에 주목해야 할까요? 오늘 날, 그 어느 때 보다도 모든 사람들이 수학을 잘 해야 하는 세상이 되가고 있습니다. 인공지능의 등장과 자동화로 인해 우리가 알고 있는 수많은 직업들은 사라지거나 덜 반복적인 업무와 더 많은 분석과 전문 지식이 필요한 업무로 전환될 것입니다. 그런데 우린 정작 이러한 새 역할에 필요한 추가적인 수학 인재들을 배출하지 않고 있죠.
This graph shows the number of students taking Standard Mathematics and Advanced Mathematics over a period of 20 years in Australia. It's clear that while we have demand for mathematics skills rapidly increasing, supply is in steady decline. To put things in perspective, half of the students completing high school today in Australia are not prepared to understand any argument about rates of change in data. In this digital age where fake news can influence election results, this is very concerning.
이 그래프는 지난 20년 간 호주에서 표준 수학과정과 고급 수학과정을 이수한 학생들의 수를 보여주고 있습니다. 확실히 수학 능력에 대한 수요는 급증하고 있지만 공급은 계속 줄고 있습니다. 좀 더 구체적인 설명을 드리자면, 오늘날 호주 고등학교 졸업생의 절반은 데이터에 나타나는 변화율이 시사하는 바를 제대로 이해할 수 없다는 것입니다. 지금과 같은 디지털 시대에 가짜 뉴스가 선거결과에 영향을 줄 수 있는 것은 매우 우려가 됩니다.
Let me give you a concrete example. Let's take a closer look at that graph. Can everyone see what I've done there to stress my point? If you can't, let me show you now, with the vertical axis starting at zero, where it should be. There, you see it now, right? It's the exact same data but I've manipulated the representation to influence you. And that's cool, that's my job up here.
구체적인 예를 들어 볼까요? 그래프를 좀 더 자세히 살펴보죠. 제 주장을 강조하려고 손을 좀 댔는데 모두 알아차리셨나요? 모르시겠다면, 제가 지금 알려드리겠습니다. 수직축이 0부터 시작되어야 하죠. 이제 찾으셨나요, 그렇죠? 정확히 같은 데이터이지만 여러분에게 영향을 주기 위해 그래프 보여주는 것을 조작했습니다. 멋지죠. 오늘 강연 목표는 달성했네요.
(Laughter)
(웃음)
But in all seriousness, unless we do something to drastically improve student engagement with mathematics, we'll not only have a huge skills shortage crisis but a fickle population, easily manipulated by whoever can get the most air time. So what's the solution?
그런데 진심으로 뭐라도 하지 않으면 수학에 대한 학생들의 관심도를 대폭 끌어올리기 위해서 말이죠. 그렇지 않으면 단지 수학적 능력 부족 위기뿐 아니라 변덕스러운 사회 미디어를 장악한 사람에 의해 쉽게 조정될 수 있습니다. 그렇다면 어떤 해결책이 있을까요?
There are a lot of things we have to do. We need curriculum reform. We need our best and brightest encouraged to become teachers. We need to put an end to high-stakes tests and instead follow a mastery-based learning approach. But all these things take time. And I'm impatient.
해야 할 일들이 아주 많이 있습니다. 교육과정을 개선 해야 하고요. 우수하고 똑똑한 사람들이 선생님이 될 수 있도록 해야 합니다. 리스크가 큰 시험제도를 폐지하고 대신 숙달 기반의 학습 방식을 적용해야 합니다. 전부 시간이 상당히 걸리는 일들이죠. 그리고 저는 참을성이 없습니다.
See, I've been thinking about this for eight years now. Ever since I left my job as a derivative trader to build a web application to help students learn mathematics. Today, our app is used by schools across the globe. And we're seeing big improvements for students who use the program regularly. But here's the thing -- we're only seeing it for students who use the program regularly. And most of them don't. So after years of developing and refining the application, our biggest challenge was not so much product related, our biggest challenge was motivating students to want to work on their gaps in understanding. You can imagine in today's attention economy, we're competing against Facebook, Snapchat and PlayStation to try and get these students' time.
저는 이 문제에 대해 8년째 고민을 하고 있습니다. 파생 상품 거래 일을 그만 두고 학생들을 위한 수학 학습 어플리케이션을 만들 때부터 말이죠. 현재 세계 곳곳의 학교에서 저희 앱을 사용하고 있고 그리고 우리는 큰 개선을 하려 합니다. 프로그램을 꾸준히 이용하는 학생들을 위해서죠. 그런데 문제가 좀 있습니다. 우리는 프로그램을 꾸준히 사용하는 학생들만 대상으로 하려 합니다. 대부분의 사용자는 그렇지 않죠. 수년 간 어플리케이션을 개발하고 개선하고 나서야 관건은 제품에 관한 것이 아니라 학생들 동기부여라는 것을 알았습니다. 스스로 부족한 부분을 채우고 싶도록 하는 것이죠. 지금 같은 관심 경제 시대에서 저희는 페이스북, 스냅샷, 플레이스테이션과 경쟁해 학생들의 시간을 확보해야 했습니다.
So we went back to the drawing board and started to think about how we could make it worthwhile for students to spend some of their "attention budget" on their education. We tinkered with gamification elements like points, badges and avatars, and we'd see a temporary spike in engagement but things would go back to normal as soon as the novelty wore off.
그래서 우린 다시 원점으로 돌아가 어떻게 가치 있게 만들지를 고민했습니다. 학생들이 그들의 '관심 예산' 일부를 교육에 투자하게 하는 방법에 대해서요. 게이미피케이션 요소를 써보았는데 포인트, 뱃지, 아바타 같은 것이죠. 참여도가 일시적으로 상승하기는 했지만 신선함이 떨어지니 결국 원상태로 돌아가더군요.
Then one day, my cofounder, Alvin, came across a study of students in Chicago led by the behavioral economist, Steven Levitt, where they paid students who improved on their test scores. He started telling me about some of the things they tested for and the interesting findings they had. For instance, they found that incentivizing students for inputs, like effort, worked a lot better than incentivizing for outputs, like test scores. They found that for younger students, you could win them over with a trophy but for older students, you really needed cash.
그러던 어느 날 공동 창립자인 앨빈이 시카고에서 학생 대상으로 한 연구를 발견했는데 행동경제학자인 스티븐 레빗 교수가 진행한 것이었습니다. 성적이 향상된 학생들에게 돈으로 보상한 내용이었죠. 레빗 교수는 저에게 그들이 진행한 일부 실험 내용을 설명해 주었고 흥미로운 결과에 대해서도 알려주었습니다. 예를 들면, 과정에 대해 보상을 해주는 것이, 노력과 같은 것이 결과에 대해 보상하는 것 보다 훨씬 더 효과적이었다고 합니다. 시험 결과에 따라 보상하는 것 보다 말이죠. 또한 저학년들은 트로피 정도로도 충분했지만 고학년들에게는 현금이 최고였다고 합니다.
(Laughter)
(웃음)
And the amount of cash mattered -- 10 dollars was good, 20 dollars -- even better. But perhaps most importantly, they found that the rewards had to be instant rather than promised at a later date. They went as far as to give the students 20 dollars and say, "Touch it, feel it, smell it --"
보상 액수도 중요하다고 합니다. 10달러도 괜찮았지만 20달러는 더 효과적이었다고 합니다. 하지만 아마도 무엇보다도 가장 중요한 것은 보상이 즉각적으로 이루어져야 한다는 것입니다. 나중에 주겠다고 하지 말고요. 연구팀은 학생들에게 20달러를 주면서 이렇게 말했습니다. "만져보고, 느끼고, 냄새도 맡아보세요."
(Sniffing)
(킁킁)
"It's all yours. But if you fail, I'm going to take it back." And that worked really well. I immediately got excited about the possibilities of implementing this in our program. But once the excitement settled down, there were a few concerns that crept in our minds. Firstly, was this ethical?
"전부 여러분 거예요. 하지만 점수가 나쁘면 돌려 받을 겁니다." 이 방법은 정말 효과가 탁월했다고 합니다. 저는 굉장히 설레었습니다. 저희 프로그램에 접목시킬 수 있을 것 같았죠. 하지만 좀 차분히 생각해보니 걱정거리가 좀 생기더군요. 첫 번째 걱정은, 윤리적인 문제는 없는가 였고
(Laughter)
(웃음)
Secondly, how would we fund this thing?
두 번째는 자금 확보에 대한 걱정이었죠.
(Laughter)
(웃음)
And finally, would the results be sustained if the students were no longer paid?
마지막 걱정은 보상 없이도 결과가 유지될 수 있는지 였습니다.
Now, let's look at the ethical part first. I'm a bit of a mathematical purist. So I'd be one of the first people to say that we should study mathematics for the sake of mathematics. Remember -- for play, for beauty, for truth, for justice and for love! Not for money!
먼저 윤리적인 부분에 대해 얘기해보죠. 저는 조금은 순수 수학주의자 입니다. 때문에 저는 수학 자체가 좋아 수학을 공부한다고 말하는 사람들 중 한명일 것입니다. 재미, 매력, 진실, 정의와 사랑 때문에 공부한다는 말 기억하시나요? 돈 때문이 아닙니다.
(Laughter)
(웃음)
As I struggled with this, I came to see that, while it's a way I look at mathematics now, it's only because I studied it long enough to appreciate it. It's very difficult to tell a student struggling with mathematics today to work hard for a payoff in the distant future. And it's not so much bribery that's at work here, because I could bribe students by telling them about my big bonuses in my derivative trading days as a reward for doing well at maths. But it doesn't pay off for a very long time. So it's practically naught. Behavioral economists call this hyperbolic discounting. And Levitt goes as far as to say that all motivating power vanishes when rewards are handed out with a delay. So, from a purely economic point of view: if we don't use immediate incentives, we are underinvesting in student outcomes. I took heart from that, and came to see that as a society, we're actually quite used to financial incentives. Whether it be by the government, by employers or at home.
이런 생각에 집착하다가 저는 깨달았습니다. 현재 저의 수학에 대한 이런 태도는 그만큼 수학을 오래 공부했기 때문이라는 것을요. 현재 수학을 어렵게만 느끼는 학생에게 지금 열심히 해야, 커서 성공한다는 식의 조언은 도움이 되지 않습니다. 그다지 동기부여가 되지 않는 또 하나는 일에서 인데 제 경험으로 동기부여 해줄 수 있는데 제가 파생 상품 거래를 하던 시절 많이 받았던 상여금을 예로 들 수 있죠. 수학을 잘 해서 받을 수 있던 보상이죠. 하지만 이것도 한참 지나서야 받을 수 있는 보상입니다. 결국 실질적으로는 쓸모 없는 것이죠. 행동경제학자들은 이걸 '과도한 가치 폄하 효과'라 부릅니다. 레빗 교수는 이렇게까지 말합니다. 모든 동기부여가 사라지는 것은 보상이 미루어지는 때라고요. 그래서 순수하게 경제적인 관점으로만 보면 우리가 즉각 보상을 하지 않는다는 것은 우리가 학생들의 학업 성취도를 위해 투자를 적게 한다는 뜻이기도 합니다. 저에게 용기를 준 사회적 요소가 있는데, 사실은 우리가 금전적인 보상에 꽤 익숙하다는 것입니다. 정부 보상금이든, 회사 상여금이든, 용돈이든 간에 말이죠.
For instance, many parents would pay their children an allowance or pocket money for doing chores in the house. So it wasn't really all that controversial. As I thought about that, it started to answer that second question of how we were going to fund this. Naturally, parents are the most invested in their children's education. So, let's charge them a weekly subscription fee to use our program, but -- if the students complete their weekly maths goal, we'll refund the subscription amount directly into the child's bank account. We chose three exercises completed over a one week period for a 10 dollar reward. That way we're incentivizing effort rather than performance over a short enough period and with a substantial enough payout for the students to care.
예를 들어, 많은 부모님들은 아이들이 집안 일을 도우면 용돈을 줄 겁니다. 이게 그다지 논란거리가 되지는 않죠. 이와 같은 결론에 도달하고 보니 두 번째 걱정인 자금 확보 방법도 찾아 낼 수 있었습니다. 일반적으로 부모들은 자녀 교육에 투자를 가장 많이 합니다. 따라서 부모가 매주 프로그램 이용료를 지불하게 했습니다. 그렇지만 학생들이 매주 수학 목표를 달성하면 지불한 이용료 전액을 아이들의 계좌로 바로 환불해주기로 했습니다. 우리는 세 가지 과제를 완료하도록 선택했습니다. 일주일 동안에요. 그러면 10달러를 보상받는 것이죠. 이런 식으로 저희는 성과보다는 과정 중심의 보상을 하고 있으며 과제 기간도 충분히 짧게 설정하고 학생들이 관심을 가질만한 충분한 보상금을 책정했습니다.
Now, I remember when I first told my wife about this new business model. If she had any doubt left that I've gone completely mad, that pretty much confirmed it for her. She said to me, "Mo ... you realize that if everybody does their homework, which you want, you're not going to make any revenue, which you don't want. Great business model."
제가 처음 이 신사업 모델에 대해 아내에게 말했을 때가 생각나는군요. 아내가 만일 제가 제정신이 아닌 것 같다는 의심을 조금이라도 했더라면 그 의심에 대한 확신이 된 거죠. 제 아내는, "여보... 당신이 바라는 대로 모든 학생들이 과제를 다 하면 한 푼도 벌지 못한다는 건 알고 있죠? 당신도 원치 않는 일이죠. 굉장한 사업 모델이네요." 라고 말했죠.
(Laughter)
(웃음)
I say it's more like an antibusiness model, it's free if you use it, but you pay if you don't. Now, I knew from experience that not everybody in the country was going to jump on and do their maths homework every week. And if they did, sure we'd go bust pretty quickly, but hey, we would have solved the country's maths skills crisis.
제 사업은 반기업적 모델에 가깝습니다. 이용하면 무료고, 이용하지 않으면 돈을 내는 거죠. 제 경험상 전국의 모든 학생들이 달려들어 매주 수학과제를 할 거라 생각하지 않습니다. 만약 그런 일이 발생한다면 분명 저희 회사는 곧 파산하겠죠. 그래도 우리가 국가적 수학 능력 위기를 해결하겠죠.
(Laughter)
(웃음)
As a company, we've always run a double bottom line, looking to both make a return for investors as well as improve student outcomes. We know that our path to long-term profitability is through improving student outcomes. So our dual objectives should never be at odds. So we're always looking to make our product decisions around helping students reach their weekly maths goal, effectively ensuring that they get paid and not us.
저희는 늘 이중 핵심가치를 기반으로 회사를 운영해왔습니다. 투자자들에게 돌아가는 수익뿐 아니라 학생들의 실력 향상을 위해 고민하죠. 우리는 장기적인 수익성에 도달하는 길이 학생들의 실력 향상을 통해서라는 것을 압니다. 때문에 저희의 이중 핵심 가치는 서로 상충되지 않습니다. 그래서 우리가 항상 제품에 대한 결정을 내릴 때는 학생들이 매주 수학 목표를 달성할 수 있는가에 중점을 둡니다. 학생들이 보상금을 받을 수 있도록 말이죠. 우리가 아니고요.
Now you must be wondering: How is this crazy business model going? You'll be glad to know we're still in business. We've been testing this now for the last five months on just our personal home users in Australia before we think about rolling it out to schools. And here are the early results. The green represents students who are completing their weekly maths goal and the red those who aren't. You can see a lot more completing their homework than not. In fact, as our user base has grown, we found the percentage to be pretty steady, at around 75 percent. So on average, we receive our weekly subscription fee once every four weeks, and the other three weeks, we're rewarding the students. Now of course we're leaving some money on the table here, but guess what? It turns out these students are 70 percent more engaged than students not on the reward program. Check.
이런 터무니 없는 사업이 잘 굴러가고 있는지 궁금하시죠? 우리가 여전히 사업을 하고 있어서 기쁠 겁니다. 이 사업 모델을 지난 5개월간 테스트 했습니다. 호주의 가정 개인 사용자들을 대상으로요. 학교에 도입시키는 것에 대해 결정하기 앞서 말이죠. 이건 초기 결과치 입니다. 녹색은 매주 수학 목표를 달성한 학생들을 나타내고 빨강은 그렇지 못한 학생들을 나타냅니다. 과제를 달성한 학생들이 훨씬 더 많은 것을 알 수 있습니다. 사용자가 많아져도 75%정도로 달성율이 꾸준히 유지되는 것을 볼 수 있습니다. 평균적으로 저희는 주간 사용료를 매 4주 마다 한 번 받는데 다른 3주 동안은 학생들에게 보상금을 지급합니다. 현재로서는 지출만 하고 있습니다. 그런데 말입니다. 보상을 받은 학생들의 참여도가 그렇지 않은 학생들보다 70%가 더 높습니다. 첫 번째 문제는 해결됐죠.
From a business perspective, they are less likely to churn and more likely to refer friends, so we're hoping to trade off a lower revenue per user for a bigger and more engaged user base. Check and check.
사업적인 측면에서는, 이 학생들의 이탈율은 낮은 반면에 친구들한테 추천할 확률이 높죠. 때문에 비록 회원당 수익율은 낮지만 더 많은 충성도 높은 고객 확보로 수익을 창출할 수 있다고 봅니다. 두 번째 문제도 해결됐죠.
Now for that final question. Would they keep coming back if they were no longer paid? Mathematics is so much more than just a subject you study at school. It's a human endeavor. It's what helps us to understand the world around us. And the more you know, the more you want to know. So yes, we've triggered initial engagement with a financial reward. But in the long run, the money won't matter anymore. Because in the long run, the wonder of mathematics will be the incentive and understanding it will be the reward.
이제 마지막 문제에 대한 답입니다. 학생들이 더 이상 보상금을 받지 못해도 계속해서 프로그램을 이용할까요? 수학은 교과목 이상의 가치를 가지고 있습니다. 인간의 삶이 담긴 학문입니다. 세상사를 이해할 수 있게 합니다. 알면 알수록, 더 알고 싶어지는 학문이죠. 물론 저희가 그 첫 계기를 만들었습니다. 금전적인 보상으로 말이죠. 하지만 결국에는 그런 보상금은 더 이상 중요하지 않을 것입니다. 왜냐하면 장기적으로는, 수학의 신비로움 자체가 동기부여가 될 것이며 그 신비로움을 이해하는 것이 보상이 될테니까요.
Thank you.
감사합니다.
(Applause)
(박수)