Ramesh Raskar presents femto-photography, a new type of imaging so fast it visualizes the world one trillion frames per second, so detailed it shows light itself in motion. This technology may someday be used to build cameras that can look "around" corners or see inside the body without X-rays.

0:15Doc Edgerton inspired us with awe and curiosity with this photo of a bullet piercing through an apple,and exposure just a millionth of a second. But now, 50 years later, we can go a million times faster and see the world not at a million, or a billion, but one trillion frames per second.

0:48I present you a new type of photography, femto-photography, a new imaging technique so fast that it can create slow motion videos of light in motion. And with that, we can create cameras that can look around corners, beyond line of sight or see inside our body without an X-ray, and really challenge what we mean by a camera.

1:21Now if I take a laser pointer and turn it on and off in one trillionth of a second -- which is several femtoseconds -- I'll create a packet of photons barely a millimeter wide, and that packet of photons, that bullet, will travel at the speed of light, and, again, a million times faster than an ordinary bullet. Now, if you take that bullet and take this packet of photons and fire into this bottle, how will those photons shatter into this bottle? How does light look in slow motion?

2:21Now, the whole event -- (Applause) (Applause)

2:28Now, remember, the whole event is effectively taking place in less than a nanosecond — that's how much time it takes for light to travel — but I'm slowing down in this video by a factor of 10 billion so you can see the light in motion.

2:45But, Coca-Cola did not sponsor this research. (Laughter)

2:50Now, there's a lot going on in this movie, so let me break this down and show you what's going on. So, the pulse enters the bottle, our bullet, with a packet of photons that start traveling through and that start scattering inside. Some of the light leaks, goes on the table, and you start seeing these ripples of waves. Many of the photons eventually reach the cap and then they explode in various directions. As you can see, there's a bubble of air, and it's bouncing around inside. Meanwhile, the ripples are traveling on the table, and because of the reflections at the top, you see at the back of the bottle, after several frames, the reflections are focused.

3:27Now, if you take an ordinary bullet and let it go the same distance and slow down the video again by a factor of 10 billion, do you know how long you'll have to sit here to watch that movie? A day, a week? Actually, a whole year. It'll be a very boring movie — (Laughter) — of a slow, ordinary bullet in motion.

3:57And what about some still-life photography?

4:07You can watch the ripples again washing over the table, the tomato and the wall in the back. It's like throwing a stone in a pond of water.

4:22I thought, this is how nature paints a photo, one femto frame at a time, but of course our eye sees an integral composite. But if you look at this tomato one more time, you will notice, as the light washes over the tomato, it continues to glow. It doesn't become dark. Why is that? Because the tomato is actually ripe, and the light is bouncing around inside the tomato, and it comes out after several trillionths of a second. So, in the future, when this femto-camera is in your camera phone, you might be able to go to a supermarket and check if the fruit is ripe without actually touching it.

5:03So how did my team at MIT create this camera? Now, as photographers, you know, if you take a short exposure photo, you get very little light, but we're going to go a billion times faster than your shortest exposure, so you're going to get hardly any light. So, what we do is we send that bullet, those packet of photons, millions of times, and record again and again with very clever synchronization, and from the gigabytes of data, we computationally weave together to create those femto-videos I showed you.

5:35And we can take all that raw data and treat it in very interesting ways. So, Superman can fly. Some other heroes can become invisible, but what about a new power for a future superhero: to see around corners? The idea is that we could shine some light on the door. It's going to bounce, go inside the room, some of that is going to reflect back on the door, and then back to the camera, and we could exploit these multiple bounces of light.

6:07And it's not science fiction. We have actually built it. On the left, you see our femto-camera. There's a mannequin hidden behind a wall, and we're going to bounce light off the door.

6:17So after our paper was published in Nature Communications, it was highlighted by Nature.com, and they created this animation.

6:26(Music)

6:32We're going to fire those bullets of light, and they're going to hit this wall, and because the packet of the photons, they will scatter in all the directions, and some of them will reach our hidden mannequin,which in turn will again scatter that light, and again in turn the door will reflect some of that scattered light, and a tiny fraction of the photons will actually come back to the camera, but most interestingly,they will all arrive at a slightly different time slot. (Music)

7:08And because we have a camera that can run so fast, our femto-camera, it has some unique abilities. It has very good time resolution, and it can look at the world at the speed of light. And this way, we know the distances, of course to the door, but also to the hidden objects, but we don't know which point corresponds to which distance. (Music)

7:33By shining one laser, we can record one raw photo, which, you look on the screen, doesn't really make any sense, but then we will take a lot of such pictures, dozens of such pictures, put them together, and try to analyze the multiple bounces of light, and from that, can we see the hidden object? Can we see it in full 3D?

7:53So this is our reconstruction. (Music) (Music) (Music) (Applause)

8:07Now we have some ways to go before we take this outside the lab on the road, but in the future, we could create cars that avoid collisions with what's around the bend, or we can look for survivors in hazardous conditions by looking at light reflected through open windows, or we can build endoscopes that can see deep inside the body around occluders, and also for cardioscopes. But of course, because of tissue and blood, this is quite challenging, so this is really a call for scientists to start thinking about femto-photography as really a new imaging modality to solve the next generation of health imaging problems.

8:48Now, like Doc Edgerton, a scientist himself, science became art, an art of ultra-fast photography, and I realized that all the gigabytes of data that we're collecting every time is not just for scientific imaging, but we can also do a new form of computational photography with time-lapse and color-coding, and we look at those ripples. Remember, the time between each of those ripples is only a few trillionths of a second.

9:23But there's also something funny going on here. When you look at the ripples under the cap, the ripples are moving away from us. The ripples should be moving towards us. What's going on here?

9:35It turns out, because we're recording nearly at the speed of light, we have strange effects, and Einstein would have loved to see this picture. The order at which events take place in the world appear in the camera with sometimes reversed order, so by applying the corresponding space and time warp, we can correct for this distortion.

10:03So whether it's for photography around corners, or creating the next generation of health imaging, or creating new visualizations, since our invention, we have open-sourced all the data and details on our website, and our hope is that the DIY, the creative and the research community will show us that we should stop obsessing about the megapixels in cameras — (Laughter) — and start focusing on the next dimension in imaging. It's about time. Thank you. (Applause) (Applause)

0:15닥 에저톤 선생께서 총알이 사과를 뚫고 지나가는 이 사진으로 경외감과 호기심으로 가득찬 영감을 불어넣어 주셨죠. 겨우 1백만분의 1초 간의 노출입니다. 50년이 지난 오늘날 우리는 백만배는 더 빨리 할 수 있고백만분의 1초는 커녕 10억분의 1초도 아닌 초당 1조개의 화면을 볼 수 있습니다.

0:48제가 여러분께 새로운 형태의 사진을 보여드리려고 하는데요 펨토(femto) 사진입니다. *femto: 1000조분의 1, 즉 1/10^-15 새로운 이미징 기술인데 매우 빨라서 빛이 움직이는 순간을 느린 그림으로 만들 수도 있습니다. 이런 사진으로, 시선 너머의 사방을 둘러보는 카메라를 만들 수도 있고 X-선을 사용하지 않고도 우리 몸 안을 들여다 볼 수도 있습니다. 그리고 카메라라고 하는 것에 정말로 도전해 볼 수 있죠.

1:21레이저 지시봉을 1조분의 1초 간격으로 깜빡여 보죠... 그 간격이 몇 펨토초 인데요... 제가 겨우 밀리미터 정도의 폭을 가진 광자 덩어리를 만들어 보겠습니다. 그 정도의 광자 덩어리는, 총알이죠, 빛의 속도로 나아갑니다. 그것은 실제 총알보다 백만배는 빠릅니다. 이제 그 총알과 이 광자 덩어리를 가지고 이 병에다 쏘아보면 광자 덩어리가 병에 부딪히면서 어떻게 부서질까요? 느린 그림으로 보면 빛은 어떻게 보일까요?

2:21이 광경은 -- (박수)

2:28이 전체 광경은 1 나노초도 되지 않는 시간에 일어납니다. *1 나노초(10억분의 1초) -- 그건 빛이 이동하는데 걸리는 정도의 시간이죠 -- 제가 이 비디오를 100억배 쯤 느리게 해보겠습니다. 그러면 빛의 움직임을 보실 수 있을겁니다.

2:45그런데 코카콜라 회사에서 이 연구를 지원하지는 않았습니다.(웃음)

2:50자, 이 비디오에는 많은 일들이 일어나고 있는데요, 부분 부분으로 나누어서 무슨 일이 일어나고 있는지 보여드리죠. 펄스가 병으로 들어갑니다, 총알과 같죠. 광자 덩어리인 이 펄스는 병안에서 움직이다가 그 안에서 퍼져나갑니다. 그 중 일부는 밖으로 새어나가 탁자위로 흩어지기도 하죠. 여러분들은 여기 물결과 같은 파동을 보실 수 있습니다. 광자들 중 상당수는 결국 여기 뚜껑에 도달하고 그리고는 여러 방향으로 폭발하듯 퍼져나갑니다. 보시는 바와 같이, 여기 공기 방울이 있죠. 광자는 그 주변에서 튀어오릅니다. 그와 동시에, 파동은 탁자위를 퍼져나가고 이 위쪽에서 반사되어 여기 병 뒤쪽으로 보이시죠, 몇 장면이 지나면 그 반사과정에 촛점이 맞춰집니다.

3:27실제 총알을 가지고 일정거리를 날아가게 한 후, 느린 그림으로 보면 100억분의 1 배로 느리게 보는거죠, 그럼, 이 광경을 보기 위해서 얼마나 기다려야 하는지 아시겠어요? 하루? 1주일? 사실 꼬박 1년 걸립니다. 굉장히 지루한 비디오죠 --(웃음)-- 실제 총알의 느린 그림이면 말이죠.

3:57정지 화면 사진은 어떨까요?

4:07여러분은 탁자위의 파동을 다시 보시겠는데요, 뒤쪽으로 토마토와 벽이 보이죠. 이건 마치 연못에 돌을 던지는 것과 같아요.

4:22제 생각에는, 이것이 곧 자연이 사진을 만들어내는 방식입니다. 한번에 1펨토짜리 장면을 찍는거죠 물론 우리 눈은 이런 것들이 집약된 총체적인 장면을 봅니다. 그런데 여기 토마토을 한번 더 보시면 빛이 토마토를 지나는 순간, 계속해서 빛이 납니다. 어두워지는 순간이 없다는 걸 아실거에요. 왜 그럴까요? 사실 토마토는 잘 익은거고 빛은 토마토의 내부에서 튀면서 돌아다니다가 1조분의 몇초쯤 지난 후 밖으로 나옵니다. 몇 년후에 펨토-카메라가 휴대전화에 장착되면 여러분들은 수퍼마켓에 가서 과일을 만져보지도 않고 잘 익은건지 판단하실 수 있을지도 모릅니다.

5:03그러면, MIT의 우리팀은 이 카메라를 어떻게 만들었을까요? 사진가라면 아시겠지만 노출을 짧게하면 빛을 적게 받습니다. 하지만, 짧은 노출보다도 수십억배 빠르게 하면, 빛을 거의 담지 못하죠. 그래서 우리가 총알을 쓴겁니다. 그 광자 덩어리를 수백만번 쏘면서 매우 영리한 방법으로 동기화하여 기록한 것입니다. 기가바이트 정도의 자료를 가지고 제가 보여드린 펨토-비디오를 만들어내려고 계속해서 자료를 짜맞춰 낸겁니다.

5:35그 초기 자료를 가지고 아주 재미있는 방식으로 처리해 볼 수 있는데요. 그렇게해서, 수퍼맨이 날아다니고어떤 주인공들은 투명이 되기도 합니다. 그러면, 미래에 나타날 영웅은 어떨까요: 벽을 돌아서도 볼 수 있을까요? 문에 빛을 쏘아보자는게 아이디어입니다. 그러면, 빛이 튀어나가 방으로 들어가죠. 그 중 일부는 문에서 반사되어 나와 카메라에 잡힙니다. 그러니까, 저희는 이렇게 잡힌 빛의 조각을 이용하는 겁니다.

6:07공상 과학 소설이 아닙니다. 우리가 실제로 만들었거든요. 왼쪽에, 우리가 만든 펨토카메라가 있습니다. 벽 뒤에는 마네킹이 숨겨져 있어요. 이제 우리가 문에다가 빛을 쏘아 산란시켜 보겠습니다.

6:17저희 논문이 네이쳐 커뮤니케이션에 발표되고 나서 nature.com 에도 소개되었고 사람들이 이런 동영상도 만들었어요.

6:26(음악)

6:32저희는 아까 그런 빛의 총을 쏴서 이 벽을 맞히려고 했죠. 왜냐하면 빛은 광자덩어리니까 모든 방향으로 튀어나가거든요. 그러면, 그 중 일부는 여기 숨겨진 마네킹에도 도달할 것이고 거기서 다시 사방으로 퍼져나가면 이번에는 다시, 그 문에 반사되어 퍼진 일부가 극히 미량일지라도 카메라에 되돌아 오게 됩니다. 제일 흥미로운 점은 광자들이 아주 미세한 시간차를 두고 돌아 온다는 것이죠. (음악)

7:08펨토카메라는 엄청나게 빠른 속도로 감지하게 때문에 아주 특수한 기능이 있어요. 상당한 시간의 정확도를 가졌고 있어서 빛의 속도로 세상을 감지하지요. 이런 방법으로, 우리는 거리, 그러니까 물론, 문까지의 거리 뿐 아니라 숨겨진 물체까지의 거리를 알 수 있습니다. 하지만 어떤 점이 어떤 거리를 나타내는지는 잘 모르죠. (음악)

7:33레이져를 한줄기 쏴서, 원시 자료를 기록합니다. 화면에 보시는건데요, 특별한 의미는 없어 보이죠. 그런데, 저런 사진을 여러게 찍어서 아마 수십장은 될텐데, 이 사진을 함께 놓습니다. 그리고는 빛이 여러 각도로 산란 하는 것을 하나씩 분석하죠. 이런 작업으로부터, 숨겨진 물체를 볼 수 있다니요? 완전한 3차원 영상을 볼 수 있답니다.

7:53이것이 우리가 만들어 낸 영상입니다. (음악) (음악) (음악) (박수)

8:07자.. 이제, 우리가 이런 것을 찍기 전에 실제 세상에서는 해야 할 것들이 좀 남아있습니다. 그렇지만, 훗날 우리는 굽은 길 뒤를 볼 수 있으니까 절대 충돌하지 않는 차를 만들 수 있을겁니다. 아니면, 재해 지역에서 열린 창문으로 비친 빛을 통해 생존자를 찾아낼 수도 있어요. 혹은, 우리 몸안의 방해물 너머를 볼 수 있는 내시경이나 심장경 같은 것도 만들어 낼 수 있어요. 물론, 조직이나 혈액 문제로 인해서 그건 대단한 도전이 될 것입니다.. 그러니까 이건 정말 과학자들이 펨토사진에 대해서 체내 영상화 문제를 해결하는 차세대 영상화 기법으로 받아들일 수 있는 경종과도 같습니다.

8:48닥 에저톤 교수처럼, 그 분은 과학자셨어요, 과학은 예술, 그러니까 극단적으로 빠른 속도의 사진으로 된 예술이 된거죠 그리고 제가 알게 된 점은 매번 얻게되는 수 기가바이트 크기의 원시 자료는 꼭 과학적 이미징만을 위한 게 아니라 새로운 형태의 시간 차와 색깔 정보를 가진 새로운 형태의 계산 사진 분야에도 쓸 수 있습니다. 저 물결같은 파동을 보세요. 이 파동들 사이의 시간은 겨우 수조 분의 1초쯤 이라는 점을 잊지 마세요.

9:23사실은 여기에 또 재미있는게 있는데요. 여기 뚜껑 아래쪽의 파동을 보시면 이 파동은 점점 멀어지거든요,원래는 이 파동들이 우리 쪽으로 가까워져애야 하는데 어떻게 된걸까요?

9:35밝혀진 바로는 우리가 거의 빛이 속도로 기록하기 때문에 이상한 현상이 일어난다는 겁니다. 이 사진을 아인슈타인이 봤으면 무척 좋아햇을텐데요. 실제 세상에서 일어나는 현상의 순서가 카메라에는 때로 거꾸로된 순서로 나타난다는 섭니다. 그러니까, 여기에 제대로 된 시공 보정을 하면 그런 문제점을 해결할 수 있습니다.

10:03모서리를 돌아서 찍는 사진이든 차세대 체내 영상화 기법, 혹은 새로운 시각화 방안이든 간에, 우리가 이걸 만든 후에, 저희는 모든 자료와 자세한 내용을 웹사이트에 공개했습니다. 저희가 바라는 것은 DIY에요, 창의적인 연구 단체들이 *DIY: Do iy yourself. 우리가 카메라 속 수백만 화소의 명료함에만 매료되지 않을 수도 있다는 것을 보여주기 바랍니다. -- (웃음) -- 그리고 고차원의 이미징 기술에 집중하길 바랍니다. 시간이 다 되었죠. 감사합니다. (박수) (박수)