Doc Edgerton inspired us with awe and curiosity with this photo of a bullet piercing through an apple, and exposure just a millionth of a second. But now, 50 years later, we can go a million times faster and see the world not at a million or a billion, but one trillion frames per second.
Doc Edgerton vervulde ons met ontzag en nieuwsgierigheid met deze foto van een kogel die een appel doorboort en een belichting van slechts één miljoenste van een seconde. Maar nu, 50 jaar later, kunnen we een miljoen keer sneller gaan en de wereld niet in één miljoen, of één miljard, maar in één biljoen frames per seconde bekijken.
I present to you a new type of photography, femto-photography, a new imaging technique so fast that it can create slow motion videos of light in motion. And with that, we can create cameras that can look around corners, beyond line of sight, or see inside our body without an x-ray, and really challenge what we mean by a camera.
Ik stel jullie een nieuw type van fotografie voor, femto-fotografie, een nieuwe beeldvormingstechniek die zo snel is dat je een video van licht in slow motion kan maken. Daarmee kunnen we camera's maken die rond hoeken kunnen kijken, buiten de lijn van het zicht, of in ons lichaam kunnen kijken zonder röntgenstralen. Een nieuwe invulling van het begrip camera.
Now if I take a laser pointer and turn it on and off in one trillionth of a second -- which is several femtoseconds -- I'll create a packet of photons barely a millimeter wide. And that packet of photons, that bullet, will travel at the speed of light, and again, a million times faster than an ordinary bullet. Now, if you take that bullet and take this packet of photons and fire into this bottle, how will those photons shatter into this bottle? How does light look in slow motion?
Als ik een laserpointer in een biljoenste van een seconde in- en uitschakel -- dat is verscheidene femtosecondes -- maak ik een pakketje fotonen van nauwelijks een millimeter breed, en dat pakketje fotonen, die kogel, beweegt met de lichtsnelheid, en wel een miljoen keer sneller dan een gewone kogel. Als je dit pakket fotonen, die kogel, op deze fles afvuurt, hoe gaan die fotonen zich dan verstrooien in die fles? Hoe ziet licht in slow motion eruit?
[Light in Slow Motion ... 10 Billion x Slow]
Now, the whole event --
Het hele gebeuren --
(Applause)
(Applaus)
Now remember, the whole event is effectively taking place in less than a nanosecond -- that's how much time it takes for light to travel. But I'm slowing down in this video by a factor of 10 billion, so you can see the light in motion.
Vergeet niet dat dit hele gebeuren effectief plaatsvindt in minder dan één nanoseconde — dat is de tijd die licht nodig heeft om deze afstand af te leggen — maar 10 miljard keer vertraagd. Je kan de beweging van het licht volgen.
(Laughter)
Coca-Cola heeft dit onderzoek niet gesponsord. (Gelach)
But Coca-Cola did not sponsor this research.
(Laughter)
Now, there's a lot going on in this movie, so let me break this down and show you what's going on. So the pulse enters the bottle, our bullet, with a packet of photons that start traveling through and that start scattering inside. Some of the light leaks, goes on the table, and you start seeing these ripples of waves. Many of the photons eventually reach the cap and then they explode in various directions. As you can see, there's a bubble of air and it's bouncing around inside. Meanwhile, the ripples are traveling on the table, and because of the reflections at the top, you see at the back of the bottle, after several frames, the reflections are focused.
Er gebeurt heel wat in deze film. Ik leg het even uit. De lichtpuls of onze kogel of een pakket fotonen komt de fles binnen en begint te verstrooien. Een deel van het licht lekt weg, valt op de tafel, en je ziet deze rimpelingen van golven. Veel fotonen bereiken uiteindelijk de schroefdop en verspreiden zich in verschillende richtingen. Je kan binnen een luchtbel zien rondstuiteren. Ondertussen vallen de rimpelingen op de tafel, en door de weerkaatsing bovenaan zie je na verschillende frames dat achteraan in de fles de reflecties gefocust worden.
Now, if you take an ordinary bullet and let it go the same distance and slow down the video -- again, by a factor of 10 billion -- do you know how long you'll have to sit here to watch that movie?
Mocht je een gewone kogel hetzelfde laten doen en de video 10 miljard keer vertragen, hoe lang denk je dan dat die film zou duren?
(Laughter)
A day, a week? Actually, a whole year. It'll be a very boring movie --
Een dag, een week? In feite een heel jaar. Het zou een erg saaie film worden — (Gelach) —
(Laughter)
of a slow, ordinary bullet in motion.
van een langzame, gewone kogel in beweging.
And what about some still-life photography? You can watch the ripples, again, washing over the table, the tomato and the wall in the back. It's like throwing a stone in a pond of water.
Hoe vind je deze stillevenfotografie? Je ziet alweer die rimpelingen over de tafel, de tomaat en de muur erachter wegdeinen. Net als een steen in een vijver gooien.
I thought: this is how nature paints a photo, one femto frame at a time, but of course our eye sees an integral composite. But if you look at this tomato one more time, you will notice, as the light washes over the tomato, it continues to glow. It doesn't become dark. Why is that? Because the tomato is actually ripe, and the light is bouncing around inside the tomato, and it comes out after several trillionths of a second. So in the future, when this femto-camera is in your camera phone, you might be able to go to a supermarket and check if the fruit is ripe without actually touching it.
Zo schildert de natuur een beeld, één femtoframe tegelijk, maar onze ogen zien natuurlijk een integrale compositie. Maar bekijk deze tomaat nog eens. Als het licht van de tomaat wegstroomt, blijft ze nagloeien. Ze wordt niet donker. Waarom? Omdat ze rijp is, het licht wat rondstuitert in de tomaat en pas na enkele biljoensten van een seconde eruit komt. Wanneer je in de toekomst zo'n femto-camera in je cameratelefoon gaat hebben, kan je in de supermarkt
(Laughter)
gelijk controleren of de vrucht rijp is zonder ze aan te raken.
So how did my team at MIT create this camera? Now, as photographers, you know, if you take a short exposure photo, you get very little light. But we're going to go a billion times faster than your shortest exposure, so you're going to get hardly any light. So what we do is we send that bullet -- that packet of photons -- millions of times, and record again and again with very clever synchronization, and from the gigabytes of data, we computationally weave together to create those femto-videos I showed you.
Hoe is mijn team aan het MIT op dit idee gekomen? Als fotograaf weet je dat je bij een korte belichting maar weinig licht krijgt. Maar wij doen het nog een miljard keer sneller dan jullie kortste belichting. Wij ontvangen dus nauwelijks enig licht. We sturen die kogel, dat fotonenpakket, miljoenen keren uit en registreren het steeds weer opnieuw met een zeer slimme synchronisatie. Uit die gigabytes aan gegevens weven wij computationeel die femto-video's tesamen.
And we can take all that raw data and treat it in very interesting ways. So, Superman can fly. Some other heroes can become invisible. But what about a new power for a future superhero: To see around corners. The idea is that we could shine some light on the door, it's going to bounce, go inside the room, some of that is going to reflect back on the door, and then back to the camera. And we could exploit these multiple bounces of light.
Al die ruwe gegevens kunnen wij op zeer interessante manieren behandelen. Superman kan vliegen. Andere helden kunnen zich onzichtbaar maken, maar zou een toekomstige superheld rond hoeken kunnen kijken? We laten wat licht op de deur vallen. Het gaat eraf stuiteren, zich in de kamer verspreiden, en een beetje gaat terug op de deur weerkaatst worden en dan terug naar de camera. Wij gebruiken deze lichtweerkaatsingen.
And it's not science fiction. We have actually built it. On the left, you see our femto-camera. There's a mannequin hidden behind a wall, and we're going to bounce light off the door.
Dat is geen sciencefiction. We hebben het al gebouwd. Aan de linkerkant zie je onze femto-camera. Er zit een tekenpop verborgen achter een muur, we gaan licht via de deur naar binnen laten schijnen.
So after our paper was published in Nature Communications, it was highlighted by Nature.com, and they created this animation.
Na publicatie van ons artikel in Nature Communications werd het opgepikt door Nature.com.
(Music)
Ze maakten deze animatie.
[A laser pulse is fired]
(Muziek)
(Music)
We gaan die 'kogels van licht' afvuren,
Ramesh Raskar: We're going to fire those bullets of light, and they're going to hit this wall, and because of the packet of the photons, they will scatter in all the directions, and some of them will reach our hidden mannequin, which in turn will again scatter that light, and again in turn, the door will reflect some of that scattered light. And a tiny fraction of the photons will actually come back to the camera, but most interestingly, they will all arrive at a slightly different time slot.
ze gaan deze muur raken, en omdat het een pakket fotonen is, gaan ze in alle richtingen verstrooien. Enkelen zullen onze verborgen tekenpop bereiken, die zal op zijn beurt dat licht weer verstrooien, en ook de deur zal het weerkaatsen. Iets van dat verstrooide licht, een heel klein deel van de fotonen, zal de camera weer bereiken. Maar wat van belang is, is dat dat met minimale tijdsverschillen zal gebeuren.
(Music)
(Muziek)
And because we have a camera that can run so fast -- our femto-camera -- it has some unique abilities. It has very good time resolution, and it can look at the world at the speed of light. And this way, we know the distances, of course to the door, but also to the hidden objects, but we don't know which point corresponds to which distance.
Door zijn enorme snelheid bezit onze femto-camera een aantal unieke mogelijkheden. Hij heeft zeer goede tijdsresolutie en kan naar de wereld kijken met de snelheid van het licht. Daardoor kennen we de afstanden, uiteraard naar de deur, maar ook naar de verborgen objecten, maar we weten niet welk punt overeenkomt
(Music)
met welke afstand.
By shining one laser, we can record one raw photo, which, if you look on the screen, doesn't really make any sense. But then we will take a lot of such pictures, dozens of such pictures, put them together, and try to analyze the multiple bounces of light, and from that, can we see the hidden object? Can we see it in full 3D?
(Muziek) Met één laserflits kunnen we een ruwe foto nemen die - kijk maar op het scherm - je nog niets vertelt. Maar als we veel van deze foto's nemen, tientallen foto's, ze samenstellen en de meerdere weerkaatsingen van licht proberen te analyseren, krijgen we dan het verborgen object te zien? Zien we het in 3D?
So this is our reconstruction.
Dit onze reconstructie. (Muziek)
(Music)
(Muziek)
(Applause)
(Muziek) (Applaus)
Now, we have some ways to go before we take this outside the lab on the road, but in the future, we could create cars that avoid collisions with what's around the bend. Or we can look for survivors in hazardous conditions by looking at light reflected through open windows. Or we can build endoscopes that can see deep inside the body around occluders, and also for cardioscopes. But of course, because of tissue and blood, this is quite challenging, so this is really a call for scientists to start thinking about femto-photography as really a new imaging modality to solve the next generation of health-imaging problems.
Er is nog een heleboel werk te doen in het lab voordat dit de weg op kan, maar in de toekomst gaan auto's botsingen kunnen voorkomen door te zien wat er achter de bocht gaande is. Of we kunnen naar overlevenden zoeken onder gevaarlijke omstandigheden door te kijken naar licht weerspiegeld door open vensters, of we kunnen endoscopen bouwen die diep in het lichaam omheen hindernissen kunnen kijken, ook voor cardioscopen. Maar wegens de ondoorzichtigheid van weefsels en bloed, gaat dit een hele uitdaging zijn, dus is dit een oproep voor wetenschappers om te gaan denken over femto-fotografie als een nieuwe techniek om de volgende generatie problemen van medische beeldvormig op te lossen.
Now, like Doc Edgerton, a scientist himself, science became art -- an art of ultra-fast photography. And I realized that all the gigabytes of data that we're collecting every time, are not just for scientific imaging. But we can also do a new form of computational photography, with time-lapse and color coding. And we look at those ripples. Remember: The time between each of those ripples is only a few trillionths of a second.
Doc Edgerton, zelf een wetenschapper, maakte wetenschap tot kunst, de kunst van ultrasnelle fotografie. Ik besefte dat al die gigabytes aan gegevens die we telkens weer opslaan niet alleen bruikbaar zullen zijn voor wetenschappelijke beeldvorming. Ook een nieuwe vorm van computationele fotografie met time-lapse en kleurcodering wordt mogelijk door die rimpelingen. Vergeet niet dat de tijdsduur tussen elk van deze rimpelingen slechts een paar biljoensten van een seconde is.
But there's also something funny going on here. When you look at the ripples under the cap, the ripples are moving away from us. The ripples should be moving towards us. What's going on here?
Maar er gebeurt ook iets grappigs. Als je kijkt naar de rimpelingen onder de schroefdop, dan bewegen ze van je weg. Maar ze zouden naar ons toe moeten komen. Wat gebeurt hier?
It turns out, because we're recording nearly at the speed of light, we have strange effects, and Einstein would have loved to see this picture.
Het blijkt dat, omdat we opnemen aan bijna de snelheid van het licht, er vreemde effecten optreden.
(Laughter)
Einstein zou dol op deze film zijn geweest.
The order at which events take place in the world appears in the camera sometimes in reversed order. So by applying the corresponding space and time warp, we can correct for this distortion.
De volgorde waarin gebeurtenissen in de wereld plaatsvinden verschijnen in de camera soms in omgekeerde volgorde. Door toepassing van de overeenkomstige ruimte- en tijdskromming kunnen we voor deze vervorming corrigeren.
So whether it's for photography around corners, or creating the next generation of health imaging, or creating new visualizations, since our invention, we have open-sourced all the data and details on our website, and our hope is that the DIY, the creative and the research communities will show us that we should stop obsessing about the megapixels in cameras --
Of het nu gaat om het fotograferen rond hoeken of de volgende generatie medische beeldvorming of het creëren van nieuwe visualisaties, sinds onze uitvinding hebben we alle gegevens en details op onze website open-source gemaakt. We hopen dat de doe-het-zelf-, de creatieve en de onderzoekswereld ons zullen aantonen dat we niet zo geobsedeerd moeten zijn
(Laughter)
door de megapixels in camera's — (Gelach) —
and start focusing on the next dimension in imaging. It's about time.
en ons concentreren op de volgende dimensie in beeldbewerking. Dat wordt tijd. Bedankt. (Applaus)
Thank you.
(Applause)
(Applaus)