Doc Edgerton inspired us with awe and curiosity with this photo of a bullet piercing through an apple, and exposure just a millionth of a second. But now, 50 years later, we can go a million times faster and see the world not at a million or a billion, but one trillion frames per second.
Doc Edgerton fyllde oss med beundran och nyfikenhet med det här fotot av en kula som genomborrar ett äpple, och en slutartid på bara en miljondels sekund. Men idag, 50 år senare, går det en miljon gånger snabbare, och vi kan se världen inte i en miljon, eller en miljard, utan en biljon bildrutor per sekund.
I present to you a new type of photography, femto-photography, a new imaging technique so fast that it can create slow motion videos of light in motion. And with that, we can create cameras that can look around corners, beyond line of sight, or see inside our body without an x-ray, and really challenge what we mean by a camera.
Jag vill introducera er för en ny typ av fotografi, femtofotografi, en ny bildteknik som är så snabb att den kan skapa filmer i ultrarapid av ljus i rörelse. Och med den kan vi göra kameror som kan se runt hörn, utom synhåll, eller se insidan av kroppen utan röntgen, och verkligen ifrågasätta vår syn på kameror.
Now if I take a laser pointer and turn it on and off in one trillionth of a second -- which is several femtoseconds -- I'll create a packet of photons barely a millimeter wide. And that packet of photons, that bullet, will travel at the speed of light, and again, a million times faster than an ordinary bullet. Now, if you take that bullet and take this packet of photons and fire into this bottle, how will those photons shatter into this bottle? How does light look in slow motion?
Om jag nu tar en laserpekare och slår på och av den på en biljondels sekund – vilket är flera femtosekunder – kommer den att skapa en fotongrupp, knappt en millimeter i bredd, och den här fotongruppen, den "kulan", kommer att färdas med ljusets hastighet, och, som sagt, en miljon gånger snabbare än en pistolkula. Om vi sedan tar den kulan, den här fotongruppen, och fyrar av den i flaskan här, hur kommer de fotonerna att spridas i flaskan? Hur ser ljus ut i ultrarapid?
[Light in Slow Motion ... 10 Billion x Slow]
Now, the whole event --
Hela det här förloppet — (Applåder)
(Applause)
(Applåder)
Now remember, the whole event is effectively taking place in less than a nanosecond -- that's how much time it takes for light to travel. But I'm slowing down in this video by a factor of 10 billion, so you can see the light in motion.
Kom ihåg att hela förloppet i praktiken tar mindre än en nanosekund – det är den tid det tar för ljus att färdas – men jag saktar ned det 10 miljarder gånger i den här videon så ni kan se ljuset i rörelse.
(Laughter)
Men Coca-Cola sponsrade inte den här forskningen. (Skratt)
But Coca-Cola did not sponsor this research.
(Laughter)
Now, there's a lot going on in this movie, so let me break this down and show you what's going on. So the pulse enters the bottle, our bullet, with a packet of photons that start traveling through and that start scattering inside. Some of the light leaks, goes on the table, and you start seeing these ripples of waves. Many of the photons eventually reach the cap and then they explode in various directions. As you can see, there's a bubble of air and it's bouncing around inside. Meanwhile, the ripples are traveling on the table, and because of the reflections at the top, you see at the back of the bottle, after several frames, the reflections are focused.
Det är en hel del som händer i den här filmen, så jag vill ta isär den för er och visa vad som händer. Ljuset, vår "kula", kommer då in i flaskan med en grupp fotoner som färdas rakt igenom och börjar spridas inuti. En del av ljuset hamnar på bordet och man börjar se de här vågmönstrena. De flesta fotoner når så småningom korken där de spränger åt alla håll. Som ni ser finns det en luftbubbla, och den studsar runt där inne. Samtidigt sprider sig vågorna över bordet, och på grund av reflektionerna längst upp kan man se i botten av flaskan, flera bildrutor senare, hur reflektionerna fokuseras.
Now, if you take an ordinary bullet and let it go the same distance and slow down the video -- again, by a factor of 10 billion -- do you know how long you'll have to sit here to watch that movie?
Om man i stället tar en vanlig kula och låter den färdas lika långt och saktar ned videon 10 miljarder gånger igen, vet ni hur länge ni måste sitta här och titta på den?
(Laughter)
A day, a week? Actually, a whole year. It'll be a very boring movie --
En dag, en vecka? Faktiskt ett helt år. Det blir en väldigt trist film – (Skratt) –
(Laughter)
of a slow, ordinary bullet in motion.
om en långsam, helt vanlig kula.
And what about some still-life photography? You can watch the ripples, again, washing over the table, the tomato and the wall in the back. It's like throwing a stone in a pond of water.
Ska vi ta en titt på stillebenfoto? Nu ser ni vågorna igen, hur de sköljer över bordet, tomaten och väggen där bak. Det är som att kasta en sten i en damm.
I thought: this is how nature paints a photo, one femto frame at a time, but of course our eye sees an integral composite. But if you look at this tomato one more time, you will notice, as the light washes over the tomato, it continues to glow. It doesn't become dark. Why is that? Because the tomato is actually ripe, and the light is bouncing around inside the tomato, and it comes out after several trillionths of a second. So in the future, when this femto-camera is in your camera phone, you might be able to go to a supermarket and check if the fruit is ripe without actually touching it.
Jag tänkte att det är så här naturen målar upp ett foto, en femtosekund åt gången, men våra ögon ser förstås en sammansatt bild. Men om ni tittar på den här tomaten igen, ser ni att när ljuset sköljer över tomaten fortsätter den att lysa. Den blir inte mörkare. Varför är det så? Därför att tomaten är mogen, och ljuset studsar runt i tomaten och kommer ut efter åtskilliga biljondels sekunder. Så i framtiden, när den här femtokameran finns i era kameramobiler, kommer ni kanske kunna gå till snabbköpet
(Laughter)
och kolla om frukten är mogen utan att ens ta på den.
So how did my team at MIT create this camera? Now, as photographers, you know, if you take a short exposure photo, you get very little light. But we're going to go a billion times faster than your shortest exposure, so you're going to get hardly any light. So what we do is we send that bullet -- that packet of photons -- millions of times, and record again and again with very clever synchronization, and from the gigabytes of data, we computationally weave together to create those femto-videos I showed you.
Hur kunde då mitt team på MIT göra den här kameran? De av er som är fotografer vet att med en kort slutartid får man väldigt lite ljus, men här går det en miljard gånger snabbare än den kortaste slutartiden, så vi får nästan inget ljus alls. Så det vi gör är att skicka den här kulan, eller fotongruppen, flera miljoner gånger, och filma om och om igen med smart synkronisering, och från alla gigabyte av data beräknar vi fram de här femto-filmerna jag visat er.
And we can take all that raw data and treat it in very interesting ways. So, Superman can fly. Some other heroes can become invisible. But what about a new power for a future superhero: To see around corners. The idea is that we could shine some light on the door, it's going to bounce, go inside the room, some of that is going to reflect back on the door, and then back to the camera. And we could exploit these multiple bounces of light.
Och vi kan ta all den här rådatan och göra väldigt intressanta saker med den. Stålmannen kan ju flyga, några andra hjältar kan bli osynliga, men vad sägs om en ny kraft för vår framtida superhjälte: att se runt hörn? Tanken är att vi riktar ljuset mot dörren. Det kommer att studsa, ta sig in i rummet, en del kommer att reflekteras tillbaks mot dörren och sedan in i kameran igen, så vi kan dra nytta av ljusets reflektioner.
And it's not science fiction. We have actually built it. On the left, you see our femto-camera. There's a mannequin hidden behind a wall, and we're going to bounce light off the door.
Det är inte science fiction. Vi har faktiskt byggt det. Till vänster ser ni vår femtokamera. Det finns en modelldocka gömd bakom en vägg, och vi kommer låta ljuset studsa mot dörren.
So after our paper was published in Nature Communications, it was highlighted by Nature.com, and they created this animation.
Efter att vår artikel publicerades i Nature Communications, blev den uppmärksammad av Nature.com
(Music)
som gjorde den här animationen.
[A laser pulse is fired]
(Musik)
(Music)
Vi fyrar av de här "skotten" med ljus
Ramesh Raskar: We're going to fire those bullets of light, and they're going to hit this wall, and because of the packet of the photons, they will scatter in all the directions, and some of them will reach our hidden mannequin, which in turn will again scatter that light, and again in turn, the door will reflect some of that scattered light. And a tiny fraction of the photons will actually come back to the camera, but most interestingly, they will all arrive at a slightly different time slot.
som träffar den här väggen, och eftersom det är en grupp av fotoner kommer de skingras åt alla håll, och en del når fram till den gömda dockan, som i sin tur sprider ljuset igen och dörren reflekterar sedan en del av det utspridda ljuset, och en bråkdel av fotonerna kommer ända tillbaks till kameran, men det viktigaste är att de når fram vid något olika tidpunkter.
(Music)
(Musik)
And because we have a camera that can run so fast -- our femto-camera -- it has some unique abilities. It has very good time resolution, and it can look at the world at the speed of light. And this way, we know the distances, of course to the door, but also to the hidden objects, but we don't know which point corresponds to which distance.
Och eftersom vi har en så snabb kamera, vår femtokamera, har den vissa unika egenskaper. Den har väldigt bra tidsupplösning, och den kan se världen i ljusets hastighet. Därför vet vi avstånden, till dörren förstås, men även till de dolda föremålen, men vi vet inte vilken punkt som svarar
(Music)
mot vilket avstånd.
By shining one laser, we can record one raw photo, which, if you look on the screen, doesn't really make any sense. But then we will take a lot of such pictures, dozens of such pictures, put them together, and try to analyze the multiple bounces of light, and from that, can we see the hidden object? Can we see it in full 3D?
(Musik) Med hjälp av en laser kan vi ta ett råfoto som, ni ser på skärmen, är ganska intetsägande, men sedan tar vi många sådana bilder, massor av dem, sätter ihop dem, och försöker räkna ut hur ljuset studsat – kan vi med detta se det dolda föremålet? Kan vi se det i full 3D?
So this is our reconstruction.
Det här är då vår rekonstruktion. (Musik)
(Music)
(Musik)
(Applause)
(Musik) (Applåder)
Now, we have some ways to go before we take this outside the lab on the road, but in the future, we could create cars that avoid collisions with what's around the bend. Or we can look for survivors in hazardous conditions by looking at light reflected through open windows. Or we can build endoscopes that can see deep inside the body around occluders, and also for cardioscopes. But of course, because of tissue and blood, this is quite challenging, so this is really a call for scientists to start thinking about femto-photography as really a new imaging modality to solve the next generation of health-imaging problems.
Vi har en del jobb innan vi kan ta det här från labbet till verkligheten, men i framtiden kan vi göra bilar som inte krockar med det som finns runt knuten, eller leta efter överlevande i farliga situationer genom att se hur ljus reflekteras från öppna fönster, eller tillverka endoskop som kan se djupt inne i kroppen, förbi tillslutningar, eller in i hjärtat. Men det är klart, på grund av vävnader och blod är det en viss utmaning, så det är verkligen dags för forskare att börja tänka på femtofotografi som en ny form av bildåtergivning, för att lösa framtidens problem inom medicinsk bildteknik.
Now, like Doc Edgerton, a scientist himself, science became art -- an art of ultra-fast photography. And I realized that all the gigabytes of data that we're collecting every time, are not just for scientific imaging. But we can also do a new form of computational photography, with time-lapse and color coding. And we look at those ripples. Remember: The time between each of those ripples is only a few trillionths of a second.
För Doc Edgerton, som också var forskare, blev vetenskap till konst, en ultrasnabb fotokonst, och jag förstod själv att alla gigabyte av data som vi samlar in hela tiden inte bara är till för vetenskaplig bildteknik, utan också en ny typ av digitalt fotografi med snabbspolning och färgkodning, och vi tittar på de där vågorna. Kom ihåg att tiden mellan varje våg bara är några få biljondels sekunder.
But there's also something funny going on here. When you look at the ripples under the cap, the ripples are moving away from us. The ripples should be moving towards us. What's going on here?
Men det är förresten något skumt på gång här. När man tittar på vågorna under korken är de på väg i riktning från oss. Vågorna borde röra sig mot oss. Varför är det så här?
It turns out, because we're recording nearly at the speed of light, we have strange effects, and Einstein would have loved to see this picture.
Jo, eftersom vi spelar in nästan i ljusets hastighet får vi en del märkliga resultat,
(Laughter)
och Einstein hade älskat den här bilden.
The order at which events take place in the world appears in the camera sometimes in reversed order. So by applying the corresponding space and time warp, we can correct for this distortion.
Det verkliga händelseförloppet ser i kameran ut att kastas om ibland, så genom att justera för rums- och tidsförskjutningen kan vi korrigera det här felet.
So whether it's for photography around corners, or creating the next generation of health imaging, or creating new visualizations, since our invention, we have open-sourced all the data and details on our website, and our hope is that the DIY, the creative and the research communities will show us that we should stop obsessing about the megapixels in cameras --
Vare sig det handlar om att ta bilder runt hörn, eller utveckla bildtekniken inom sjukvården, eller skapa nya slags illustrationer, har vi i och med vår uppfinning offentliggjort all data och på vår hemsida, och vi hoppas att entusiaster, konstnärer och forskningssamhället kommer få oss att sluta stressa över
(Laughter)
megapixlarna i kameror – (Skratt) –
and start focusing on the next dimension in imaging. It's about time.
och börja tänka på nästa aspekt av bildhantering. Låt oss inte dra ut på tiden. Tack. (Applåder)
Thank you.
(Applause)
(Applåder)