Throughout the history of computers we've been striving to shorten the gap between us and digital information, the gap between our physical world and the world in the screen where our imagination can go wild. And this gap has become shorter, shorter, and even shorter, and now this gap is shortened down to less than a millimeter, the thickness of a touch-screen glass, and the power of computing has become accessible to everyone. But I wondered, what if there could be no boundary at all? I started to imagine what this would look like. First, I created this tool which penetrates into the digital space, so when you press it hard on the screen, it transfers its physical body into pixels. Designers can materialize their ideas directly in 3D, and surgeons can practice on virtual organs underneath the screen. So with this tool, this boundary has been broken. But our two hands still remain outside the screen. How can you reach inside and interact with the digital information using the full dexterity of our hands? At Microsoft Applied Sciences, along with my mentor Cati Boulanger, I redesigned the computer and turned a little space above the keyboard into a digital workspace. By combining a transparent display and depth cameras for sensing your fingers and face, now you can lift up your hands from the keyboard and reach inside this 3D space and grab pixels with your bare hands. (Applause) Because windows and files have a position in the real space, selecting them is as easy as grabbing a book off your shelf. Then you can flip through this book while highlighting the lines, words on the virtual touch pad below each floating window. Architects can stretch or rotate the models with their two hands directly. So in these examples, we are reaching into the digital world. But how about reversing its role and having the digital information reach us instead? I'm sure many of us have had the experience of buying and returning items online. But now you don't have to worry about it. What I got here is an online augmented fitting room. This is a view that you get from head-mounted or see-through display when the system understands the geometry of your body. Taking this idea further, I started to think, instead of just seeing these pixels in our space, how can we make it physical so that we can touch and feel it? What would such a future look like? At MIT Media Lab, along with my advisor Hiroshi Ishii and my collaborator Rehmi Post, we created this one physical pixel. Well, in this case, this spherical magnet acts like a 3D pixel in our space, which means that both computers and people can move this object to anywhere within this little 3D space. What we did was essentially canceling gravity and controlling the movement by combining magnetic levitation and mechanical actuation and sensing technologies. And by digitally programming the object, we are liberating the object from constraints of time and space, which means that now, human motions can be recorded and played back and left permanently in the physical world. So choreography can be taught physically over distance and Michael Jordan's famous shooting can be replicated over and over as a physical reality. Students can use this as a tool to learn about the complex concepts such as planetary motion, physics, and unlike computer screens or textbooks, this is a real, tangible experience that you can touch and feel, and it's very powerful. And what's more exciting than just turning what's currently in the computer physical is to start imagining how programming the world will alter even our daily physical activities. (Laughter) As you can see, the digital information will not just show us something but it will start directly acting upon us as a part of our physical surroundings without disconnecting ourselves from our world. Today, we started by talking about the boundary, but if we remove this boundary, the only boundary left is our imagination. Thank you. (Applause)
Trong suốt lịch sử máy tính chúng ta đã phấn đấu để rút ngắn khoảng cách giữa chúng ta và thông tin kỹ thuật số, khoảng cách giữa thế giới vật lý của chúng ta và thế giới trong màn hình nơi trí tưởng tượng của chúng ta có thể trở nên ngông cuồng. Và khoảng cách này đã trở nên ngắn hơn, ngắn hơn, và thậm chí ngắn hơn, và bây giờ khoảng cách này rút ngắn xuống còn nhỏ hơn một milimet, độ dày của kính màn hình cảm ứng và sức mạnh của máy tính dễ dàng được tiếp cận bởi tất cả mọi người Nhưng tôi tự hỏi, sẽ ra sao nếu như không còn bất kì một khoảng cách nào nữa? Tôi bắt đầu tưởng tượng điều này sẽ trông giống như thế nào. Trước tiên, tôi tạo ra một công cụ có khả năng thâm nhập vào không gian kỹ thuật số, vì vậy, khi bạn nhấn mạnh nó trên màn hình, nó chuyển cơ thể vật chất của mình vào điểm ảnh. Những nhà thiết kế có thể hiện thực hóa ý tưởng của họ trực tiếp trong 3D, và các bác sĩ phẫu thuật có thể thực hành trên các cơ quan ảo bên dưới màn hình. Vì vậy, với công cụ này, ranh giới này đã bị phá vỡ. Nhưng hai bàn tay của chúng ta vẫn còn ở bên ngoài màn hình. Làm thế nào bạn có thể chạm vào bên trong và tương tác với các thông tin kỹ thuật số bằng cách sử dụng đầy đủ sự khéo léo của bàn tay của chúng ta? Ở Viện Khoa học Ứng dụng Microsoft, cùng với cố vấn của tôi, Cati Boulanger, Tôi đã thiết kế lại máy tính và biến một ít không gian trên bàn phím vào không gian làm việc kỹ thuật số. Bằng cách kết hợp một màn hình trong suốt và máy quay phim ba chiều cho việc cảm biến ngón tay và khuôn mặt, bây giờ bạn có thể nâng bàn tay của bạn lên khỏi bàn phím và chạm vào bên trong không gian 3D và lấy điểm ảnh với bàn tay trần của bạn. (Vỗ tay) Bởi vì các cửa sổ và các tập tin có một vị trí trong không gian thực, việc lựa chọn chúng sẽ dễ dàng như lấy một cuốn sách ra khỏi kệ sách của bạn. Sau đó bạn có thể lướt qua cuốn sách này trong khi làm nổi bật những dòng chữ, những từ ngữ ở trên bàn chạm ảo bên dưới mỗi cửa sổ đang trôi. Kiến trúc sư có thể kéo dài hoặc xoay các mô hình trực tiếp bằng hai tay. Vì vậy, trong những ví dụ này, chúng tôi đang tiếp cận vào thế giới kỹ thuật số. Nhưng có ai nghĩ đến việc đảo ngược vai trò của nó và thay vào đó là việc có những thông tin kỹ thuật số truyền đến chúng ta? Tôi chắc rằng nhiều người trong chúng ta đã có kinh nghiệm mua và trả hàng trực tuyến. Nhưng bây giờ bạn không cần phải lo lắng về nó. Những gì tôi có ở đây là một phòng thử đồ tăng cường trực tuyến Đây là một hình ảnh mà bạn nhận được từ màn hình đeo trên đầu hay màn hình trong suốt khi hệ thống đọc hiểu được hình dạng cơ thể của bạn. Đẩy ý tưởng này đi xa hơn, tôi bắt đầu suy nghĩ, thay vì chỉ nhìn thấy các điểm ảnh trong không gian của chúng ta. làm thế nào chúng ta có thể làm cho nó tồn tại dưới dạng vật chất do đó chúng ta có thể chạm và cảm thấy nó? Tương lai sẽ trông như thế nào? Tại Phòng Thí nghiệm Truyền thông MIT, cùng với cố vấn của tôi, Hiroshi Ishii và cộng tác viên của tôi, Rehmi Post, chúng tôi đã tạo ra một điểm ảnh vật lí này. Vâng, trong trường hợp này, quả cầu nam châm này hoạt động như một điểm ảnh 3D trong không gian của chúng ta, điều đó có nghĩa là cả máy tính và con người có thể di chuyển đối tượng này tới bất cứ nơi nào trong không gian 3D nhỏ này. Những gì chúng tôi đã làm về cơ bản là hủy lực hấp dẫn và kiểm soát các chuyển động bằng cách kết hợp sự hút lên của lực từ và sự thúc đẩy cơ khí và công nghệ cảm biến. Và nhờ việc lập trình kỹ thuật số đối tượng, chúng tôi giải phóng các đối tượng từ những hạn chế về thời gian và không gian, nghĩa là bây giờ, những chuyển động của con người có thể được thu và phát lại và còn lại vĩnh viễn trong thế giới vật lý. Do đó, người biên đạo múa có thể được giảng dạy thực tế vượt qua khoảng cách không gian và những cú ném bóng nổi tiếng của Michael Jordan có thể được nhân rộng hơn và hơn nữa dưới dạng một thực tế vật lý. Học sinh có thể sử dụng nó như một công cụ để tìm hiểu về các khái niệm phức tạp chẳng hạn như chuyển động hành tinh, vật lý, và không giống như màn hình máy tính hoặc sách giáo khoa, đây là một trải nghiệm thực tế, hữu hình mà bạn có thể chạm vào và cảm thấy, và nó rất mạnh mẽ. Và điều thú vị hơn cả việc chỉ cần chuyển những gì hiện có trong máy tính vật lý đó là bắt đầu tưởng tượng rằng việc lập trình thế giới sẽ thay đổi ngay cả những hoạt động thể chất hằng ngày của chúng ta như thế nào. (Tiếng cười) Như bạn có thể thấy, các thông tin kỹ thuật số sẽ không chỉ cho chúng ta một cái gì đó mà nó sẽ bắt đầu trực tiếp hành động dựa trên chúng ta như là một phần của môi trường vật lý xung quanh chúng ta mà không tách chúng ta ra khỏi thế giới của chính chúng ta. Hôm nay, chúng ta bắt đầu bằng cách nói chuyện về ranh giới, nhưng nếu chúng ta loại bỏ ranh giới này, ranh giới còn lại duy nhất đó là trí tưởng tượng của chúng ta. Cảm ơn các bạn. (Vỗ tay)