I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
Beynin bilgiyi nasıl işlediğini araştırıyorum. Yani beynin dış dünyadan bilgiyi alıp bunu nasıl elektriksel aktivite dizilerine çevirdiğini, ve bu dizileri bişeyler yapmak için nasıl kullandığını araştırıyorum -- --görmek, duymak, bir nesneye uzanmak gibi. Ben gerçekten sade bir bilimciyim, klinisyen değilim, fakat , protez cihazlar üretme amacıyla bu aktivite dizileri hakkında öğrendiklerimi kullanmak için son bir buçuk sene içerisinde değişmeye başladım ve bu gün yapmak istediğim bunun bir örneğini size göstermek. Bu gerçekten ilk deneysel girişimimiz. Bu görme engelliliği tedavi etmek için protez bir cihazın geliştirilmesi.
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
Problemi anlatayım. Amerika'da 10 milyon, tüm dünyada ise bundan çok daha fazla görme engelli, sarı nokta hastalığı gibi retina hastalıkları yüzünden görememekte ve onlar için yapılabilecek pek bir şey yok. Bazı ilaç tedavileri var, fakat bunlar nüfusun çok az bir kısmında yararlı olabiliyor. Bu yüzden hastaların çoğu için tekrar görebilme umutlarının en büyüğü protez aygıtlarda. Sorun ise halihazırdaki protez cihazlar iyi çalışmıyorlar. Sağlayabildikleri görüş hâlâ oldukça sınırlı. Bu cihazlarla parlak ışıklar gibi basit şeyleri ve yüksek zıtlığa sahip kenarları görmek mümkün, fakat normal görüşe yakın bir görüş mümkün değil.
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
Bu gün size uzun zamandır üzerinde çalıştığımız ve bu konuda bir fark yaratma potansiyeline sahip bir cihazdan bahsedeceğim, bu cihaz çok daha etkili ve size nasıl çalıştığını göstermek istiyorum. Tamam, şimdi biraz normal retinanın nasıl çalıştığına bakalım ki çözmeye çalıştığımız problemi görün. İşte retina. Burada bir resim, retina ve beyin var. Bir şeye baktığınızda buradaki bebek yüzü gibi bir resime mesela, resimden yansıyan ışık gözünüzde retinaya düşüyor, ve burada ön-yüz hücrelerine, fotoreseptörlere düşüyor. Sonra retinal devre, orta kısım, fotoreseptörlerden gelen veri üzerinde işlemler uyguluyor, bu verideki bilgiyi çıkarıyor ve o bilgiyi koda dönüştürüyor. Ve kod beyine gönderilen elektrik darbeleri örüntüsü formunda, yani önemli olan görüntü sonuçta bir koda dönüştürülüyor. Ve kod dediğimde, mecazi olarak değil tam anlamıyla koddan bahsediyorum. Mesela bu darbe dizileri aslında "bebek yüzü" anlamına geliyor ve beyin bu darbe dizilerini aldığında, orada olanın bir bebeğin yüzü olduğunu anlıyor, eğer farklı bir dizi alsaydı aldığı diziye göre orada olanın, atıyorum, bir köpek veya bir ev olduğunu anlayabilirdi. Herneyse, fikri anladınız.
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
Ve tabi ki, gerçek hayatta, herşey dinamik, yani herşey sürekli değişiyor, darbe dizileri de sürekli değişiyor, çünkü izlediğiniz dünya da sürekli değişiyor. Gördüğünüz gibi karmaşık bir problem. Her milisaniyede gözünüzden çıkarak beyninize giden ve beyninize o an ne gördüğünü bildiren bu darbe dizileri var. Peki sağlıklı bir insan maküler dejenerasyon gibi retinal dejeneratif bir hastalık geçirdiğinde ne olur? Önyüz hücreleri ölür, fotoreseptörler ölür ve zamanla bütün hücreler ve bunları birbirine bağlayan devreler de ölür. Sonunda elinizde tek kalan beyine sinyalleri gönderen buradaki çıkış hücreleridir, fakat bütün bu dejenerasyon sebebiyle onlarda artık sinyal gönderemezler. Çünkü hiçbir girdi alamazlar, yani artık bu kişinin beyni hiçbir görsel veri alamamaktadır -- yani kişi artık bir görme engellidir.
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
Şimdi bu probleme bir çözüm, retina çıkış hücrelerine sinyal gönderecek ön-yüz devresinin yaptığı işi taklit edecek bir aygıt geliştirmektir, böylece retina çıkış hücreleri kendi normal görevleri olan beyne sinyal gönderme işini yapabilirler. Bu üzerinde çalıştığımız konuydu ve protez cihazımızın yaptığı iş de buydu. Cihaz iki parçadan oluşuyor, birisi kodlayıcı diğeri ise dönüştürücü. Kodlayıcı tam olarak biraz önce söylediğim şeyi yapıyor. ön-yüz devresinin yaptıklarını taklit ediyor -- görüntüyü alıyor ve bunu retinanın koduna dönüştürüyor. Ardından dönüştürücü çıkış hücrelerinin kodu beyine iletmesini sağlıyor, ve böylece normal retinal çıkış üretebilen retinal bir protez elde etmiş oluyoruz. Böylece tamamen kör bir retina, hiç önyüz devresi olmasa dahi, hiç bir fototoreseptörü olmasa dahi, beynin anlayabileceği normal sinyaller üretip beyine gönderebilecek hale geliyor. Şimdiye kadar hiç bir cihaz bunu yapamamıştı.
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
Tamam, kodlayıcı ve ne yaptığı hakkında bir iki söz etmek istiyorum, çünkü bu, işin gerçekten önemli bir parçası, ilginç ve harika. 'Harika' kelimesi burda tam doğru kullanılmamış olabilir, fakat siz ne demek istediğimi anladınız. Kodlayıcı elektronik çiplerin üzerinde gerçekleyebileceğimiz matematiksel formülleri kullanarak retinal devrenin yerine geçiyor, gerçekten retinal devrenin tam kalbinin yerine geçiyor. Yani sadece matematik. Bir başka deyişle retinanın bileşenlerini gerçekten değiştiriyor değiliz. Her farklı hücre tipi için minik farklı aygıt yapıyor değiliz. Sadece retinanın yaptıklarını matematiksel formüllerle özetliyoruz. Ve böylece, bir manada bu eşitlikler, kod kitabına benzer bir görev görüyor. Bir görüntü geliyor, bazı eşitliklerden geçiyor, ve buradan aynen normal bir retinanın üreteceği şekilde elektrik darbe dizileri çıkıyor.
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
Şimdi biraz laf yerine iş yapalım ve gerçekten de normal çıkış üretebildiğimizi gösterip, bunun sonuçlarının neler olabileceğinden bahsedelim. Burada üç çıkış dizisi kümesi var. En üstte olan normal bir hayvandan alınmış, ortadaki ise burada anlattığımız kodlayıcı-dönüştürücü ile tedavi edilmiş kör bir hayvandan alınmış, en alttaki ise standart protez tedavisi uygulanmış kör bir hayvandan alınmış. Yani en alttaki dizi kümesi, kodlayıcı olmadan sadece ışık sensörlerinden oluşan ve şu an bulunabilecek son teknoloji ile elde edebileceğiniz durumu gösteriyor. Bizim yaptığımız ise günlük hayatta gördüğümüz şeylerin -- insanların, bebeklerin, park banklarının ve bunun gibi sıradan şeylerin görüntülerini bu üç grup hayvana gösterip, retinalarının tepkilerini kaydetmekti. Sadece bilginiz olsun diye söylüyorum, her kutu bir çok hücrenin çıkış dizisini gösteriyor, ve önceki slaytlarda olduğu gibi, her satır farklı bir hucre, ve bu uzun datayı gösterebilmek için bu dizileri biraz küçültüp incelttim.
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
Gördüğünüz gibi kodlayıcı-dönüştürücü ile tedavi edilmiş kör bir hayvandan alınan çıkış dizileri normal çıkış dizilerine gerçekten oldukça benziyor -- kusursuz değil, fakat oldukça iyi -- ve standart protez ile tedavi edilmiş kör bir hayvandan alınan diziler ise normal dizilere benzemiyor. Yani standart yöntem ile, hücreler çıkış üretiyor, bu çıkış normal çıkış dizilerine benzemiyor çünkü doğru kodlar kendilerine gelmiyor. Bu ne kadar önemli ? Hastanın görebilmesinde bunun potansiyel etkisi nedir ? Şimdi bu soruları kısa bir şekilde cevaplayan bir deney göstereceğim, tabii ki konu ile ilgili başka bir çok veri var, eğer ilgilenirseniz, fazlasını göstermekten memnun olurum. Deneyin adı yeniden inşa deneyi. Bu kayıtlardan bir anı seçip retinanın o an ne gördüğünü sorduk? Retinanın o an gördüğü görüntüyü bu çıkış dizilerinden çıkartabilir miyiz ?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
Bu deneyi standart metottan ve bizim kodlayıcı-dönüştürücü metodumuzdan alınan dizilere uyguladığımızda çıkan sonuçları göstereceğim. Standart yöntem ile başlıyoruz. Gördüğünüz gibi oldukça sınırlı, ve çıkış dizileri doğru kodda olmadığı için orada ne olduğu hakkında fikir vermesi açısından oldukça sınırlı. Orada bir şey olduğunu görebiliyorsunuz, fakat ne olduğu yeterince belirgin değil, ve yine ilk başta söylediğime geliyorum, standart yöntem ile hastalar yüksek zıtlığa sahip kenarları görebilir, ışığı görebilir, fakat bundan ilerisine gidemez. Peki, resim neydi ? Bir bebeğin yüzüydü. Peki bizim yaklaşımımızda ne oldu, yani kod kısmını eklediğimizde ? Gördüğünüz gibi çok daha iyi . Bir bebeğin yüzü olduğunu söyleyebilmenin ötesinde bu bebeğin yüzü olduğunu da söyleyebilirsiniz, ki bu gerçekten zor bir iş. Solda sadece kodlayıcının olması durumu gösteriliyor, sağda ise kör bir retina ve kodlayıcı-dönüştürücü olması durumu. Fakat burada gerçekten önemli olan kodlayıcı, çünkü kodlayıcıyı farklı dönüştürücülerle birleştirebiliriz.
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
Bu gerçekten ilk denediğimizdi. Standart metot hakkında bir şey söylemek istiyorum. Kör bir retinayı yanıt verebilir hale getirme fikri bile ilk çıktığında sadece gerçekten heyecan verici bir fikirdi. Fakat bu sınırlayıcı faktör vardı, kod meselesi, hücrelerin nasıl daha iyi yanıt verebilir hale getirilip normal yanıtlar oluşturmasının sağlanması, işte bu bizim katkımızdı. Şimdi özetlemek istiyorum, tabii daha önce de bahsettiğim gibi, eğer ilgileniyorsanız çok fazla veri var, fakat burada sadece beyin ile beynin kendi dilinde iletişim kurulabilmesi temel fikrini vermek, ve bunu yapabilmenin potansiyel gücünden bahsetmek istiyorum. Yani durumumuz, iletişimin beyinden aygıta doğru olduğu motor protezlerinden oldukça farklı. Burada dış dünyadan beyin ile iletişim kurup beynin bu iletişimi anlaması gerekiyor.
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
Son olarak söylemek istediğim şey, bu fikrin genelleştirilebileceğinin altının çizilmesi gerektiğidir. Yani retinanın kodunu bulmak için kullandığımız stratejinin aynısını diğer bölgelerin kodunu bulmak için de kullanabiliriz, örneğin, işitme sistemi, ya da hareket sistemi için, yani işitme engellilerin veya felçlilerin tedavisinde kullanabiliriz. Yani aynen retinadaki zarar görmüş devreyi atlayarak retinanın çıkış hücrelerine erişebildiğimiz gibi, kulak salyangozundaki zarar görmüş devreyi atlayarak işitme sinirlerine erişebilir, beyin kabuğundaki zarar görmüş kısmı atlayarak felç sebebiyle oluşmuş açıklığı kapatabiliriz.
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
Şu basit mesajla bitirmek istiyorum: bu kodu anlamak gerçekten, gerçekten önemli, Eğer bu kodu anlayabilirsek, şu an bize imkansız gibi görünen bir çok şey yapılabilir hale gelecek. Teşekkürler.
(Applause)
(Alkışlar)