Was ich Ihnen zuerst, so schnell wie möglich, zeigen werde, ist die grundlegende Arbeit, eine neue Technologie, die wir Microsoft als Teil einer Übernahme vor genau einem Jahr, übergeben haben. Das ist Seadragon. Und es ist eine Umgebung, in der Sie entweder lokal oder entfernt mit riesigen Mengen von visuellen Daten umgehen können.
What I'm going to show you first, as quickly as I can, is some foundational work, some new technology that we brought to Microsoft as part of an acquisition almost exactly a year ago. This is Seadragon, and it's an environment in which you can either locally or remotely interact with vast amounts of visual data.
Wir sehen viele, viele Gigabytes an digitalen Fotos hier, die man nahtlos und fortwährend heranholen, schwenken, auf jegliche Weise neu arrangieren kann. Und es ist egal, wie viele Informationen wir betrachten, wie groß diese Sammlungen sind oder wie groß die Bilder sind. Die meisten von ihnen sind digitale Photos einer Kamera, aber dieses hier ist zum Beispiel ein Scan von der Kongressbibliothek und es ist in einem Bereich von 300 Megapixeln. Es macht keinen Unterschied, denn das einzige, was die Leistung eines Systems wie diesem einschränken kann, ist die Anzahl an Pixeln auf Ihrem Bildschirm in
We're looking at many, many gigabytes of digital photos here and kind of seamlessly and continuously zooming in, panning through it, rearranging it in any way we want. And it doesn't matter how much information we're looking at, how big these collections are or how big the images are. Most of them are ordinary digital camera photos, but this one, for example, is a scan from the Library of Congress, and it's in the 300 megapixel range. It doesn't make any difference because the only thing that ought to limit the performance of a system like this one is the number of pixels on your screen at any given moment.
jedem Moment. Es hat auch eine sehr flexible Architektur. Dies ist ein ganzes Buch, ein Beispiel für Nichtbild-Daten. Das ist Bleak House von Dickens. Jede Spalte ist ein Kapitel. Um zu beweisen, dass es sich wirklich um einen Text und nicht um ein Bild handelt, können wir etwas wie das tun, um wirklich zu zeigen, dass diese eine echte Repräsentation des Texts und kein Bild ist. Vielleicht ist dies eine künstliche Art, ein E-Buch zu lesen. Ich würde es nicht empfehlen.
It's also very flexible architecture. This is an entire book, so this is an example of non-image data. This is "Bleak House" by Dickens. Every column is a chapter. To prove to you that it's really text, and not an image, we can do something like so, to really show that this is a real representation of the text; it's not a picture. Maybe this is an artificial way to read an e-book. I wouldn't recommend it.
Dies ist ein realistischerer Fall. Dies ist eine Ausgabe von The Guardian. Jedes große Bild ist der Beginn eines Abschnitts. Und das gibt Ihnen wirklich das Vergnügen und die gute Erfahrung eine echte Papierausgabe einer Zeitschrift oder einer Zeitung zu lesen, was an sich eine Art Medium mit mehreren Größenordnungen ist. Wir haben auch etwas an der Ecke dieser speziellen Ausgabe des The Guardian gemacht. Wir haben eine falsche Anzeige mit sehr hoher Resolution entworfen, die viel höher als bei einer normalen Anzeige ist und wir haben zusätzlichen Inhalt hinzugefügt. Wenn Sie die Funktionen dieses Autos sehen möchten, können Sie sie hier sehen. Oder andere Modelle, oder sogar technische Spezifikationen. Und dies greift wirklich diese Ideen auf, diese Beschränkungen für den verfügbaren Platz auf dem Bildschirm abzuschaffen. Wir hoffen, dass das keine Pop-Ups und anderen Unsinn mehr bedeutet - das sollte nicht notwendig sein.
This is a more realistic case, an issue of The Guardian. Every large image is the beginning of a section. And this really gives you the joy and the good experience of reading the real paper version of a magazine or a newspaper, which is an inherently multi-scale kind of medium. We've done something with the corner of this particular issue of The Guardian. We've made up a fake ad that's very high resolution -- much higher than in an ordinary ad -- and we've embedded extra content. If you want to see the features of this car, you can see it here. Or other models, or even technical specifications. And this really gets at some of these ideas about really doing away with those limits on screen real estate. We hope that this means no more pop-ups and other rubbish like that -- shouldn't be necessary.
Natürlich ist das Mapping eine der wirklich offensichtlichen Anwendungen für eine Technologie wie diese. Und ich möchte hier wirklich nicht viel Zeit verbringen, außer zu sagen, dass wir auch zu diesem Bereich beitragen werden. Aber dies sind alle Straßen in den U.S.A. übereinandergelagert oben auf dem erdräumlichen Bild der NASA. Lassen Sie uns jetzt etwas anderes herausholen. Das ist jetzt sogar live im Internet. Sie können es nachprüfen.
Of course, mapping is one of those obvious applications for a technology like this. And this one I really won't spend any time on, except to say that we have things to contribute to this field as well. But those are all the roads in the U.S. superimposed on top of a NASA geospatial image. So let's pull up, now, something else. This is actually live on the Web now; you can go check it out.
Dies ist ein Projekt mit dem Namen Photosynth, das wirklich zwei verschiedene Technologien miteinander verbindet. Die eine ist Seadragon und die andere ist eine sehr gute Forschung über Computervision, die von Noah Snavely, einem Universitätsstudenten der Universität Washington, unter der Beratung von Steve Seitz an der UW und Rick Szeliski von Microsoft Forschung durchgeführt wurde. Eine sehr gute Zusammenarbeit. Also dies ist live im Internet. Es wird von Seadragon angetrieben. Sie können das sehen, wenn wir diese Art von Ansichten kreieren, bei denen wir durch Bilder durchdringen können und diese Erfahrung der mehrfachen Resolution machen.
This is a project called Photosynth, which marries two different technologies. One of them is Seadragon and the other is some very beautiful computer-vision research done by Noah Snavely, a graduate student at the University of Washington, co-advised by Steve Seitz at U.W. and Rick Szeliski at Microsoft Research. A very nice collaboration. And so this is live on the Web. It's powered by Seadragon. You can see that when we do these sorts of views, where we can dive through images and have this kind of multi-resolution experience.
Aber die räumliche Anordnung der Bilder ist hier in der Tat von Bedeutung. Die Computervision-Algorithmen haben diese Bilder zusammen festgehalten damit sie dem echten Raum, in dem diese Aufnahmen, die alle in der Nähe der Grassi Lakes in den kanadischen Rockies gemacht wurden, entsprechen. Sie sehen hier Elemente von stabilisierten Dias oder panoramischer Bildverarbeitung und diese Dinge wurden alle räumlich in Beziehung zueinander gesetzt. Ich weiß nicht genau, ob ich noch Zeit habe Ihnen andere Umgebungen zu zeigen. Es gibt welche, die viel räumlicher sind. Ich würde gerne geradewegs einen der originalen Datensätze von Noah zeigen und das ist von einem frühen Prototyp von Photosynth an dem wir erstmals im Sommer gearbeitet haben, um Ihnen das zu zeigen, wovon ich glaube, dass es wirklich die Pointe hinter dieser Technologie, der Photosynth-Technologie ist. Und dies ist nicht unbedingt so offensichtlich, wenn man die Umgebungen betrachtet, die wir auf der Website haben. Wir mussten uns wegen der Anwälte usw. Sorgen machen.
But the spatial arrangement of the images here is actually meaningful. The computer vision algorithms have registered these images together so that they correspond to the real space in which these shots -- all taken near Grassi Lakes in the Canadian Rockies -- all these shots were taken. So you see elements here of stabilized slide-show or panoramic imaging, and these things have all been related spatially. I'm not sure if I have time to show you any other environments. Some are much more spatial. I would like to jump straight to one of Noah's original data-sets -- this is from an early prototype that we first got working this summer -- to show you what I think is really the punch line behind the Photosynth technology, It's not necessarily so apparent from looking at the environments we've put up on the website. We had to worry about the lawyers and so on.
Dies ist eine Rekonstruktion der Kathedrale Notre Dame, die ausschließlich im Computer mit Bildern von Flickr erfolgte. Geben Sie einfach Notre Dame in Flickr ein und Sie werden Bilder von Männern in T-Shirts und auf dem Universitätsgelände usw. erhalten. Jede dieser orangefarbenen Kegel repräsentiert ein Bild, das als zu diesem Modell gehörend entdeckt wurde. Somit sind dies alles Flickr-Bilder, und sie alle stehen räumlich auf diese Weise in Beziehung zueinander. Und wir können auf diese sehr einfache Weise navigieren. (Applaus).
This is a reconstruction of Notre Dame Cathedral that was done entirely computationally from images scraped from Flickr. You just type Notre Dame into Flickr, and you get some pictures of guys in T-shirts, and of the campus and so on. And each of these orange cones represents an image that was discovered to belong to this model. And so these are all Flickr images, and they've all been related spatially in this way. We can just navigate in this very simple way. (Applause)
(Applause ends)
Wissen Sie, ich habe nie geglaubt, dass ich letztendlich bei Microsoft arbeiten werde. Ich bin sehr dankbar für den Empfang hier. (Gelächter).
You know, I never thought that I'd end up working at Microsoft. It's very gratifying to have this kind of reception here. (Laughter)
Ich vermute, Sie können sehen, dass dies viele verschiedene Arten von Kameras sind: alles ist dabei, von der Handy-Kamera zu professionellen SLRs, eine ziemlich große Anzahl von ihnen, die alle in dieser Umgebung zusammengeflickt wurden. Und wenn möglich, werde ich einige der Seltsamen finden. Viele von ihnen sind von Gesichtern verdeckt usw. Irgendwo hier sind eine Reihe von Fotografien - hier sind sie. Dies ist tatsächlich ein Poster von Notre Dame, das richtig aufgezeichnet wurde. Wir können von dem Poster zu einer physischen Ansicht dieser Umgebung wechseln.
I guess you can see this is lots of different types of cameras: it's everything from cell-phone cameras to professional SLRs, quite a large number of them, stitched together in this environment. If I can find some of the sort of weird ones -- So many of them are occluded by faces, and so on. Somewhere in here there is actually a series of photographs -- here we go. This is actually a poster of Notre Dame that registered correctly. We can dive in from the poster to a physical view of this environment.
Der Punkt ist hier, dass wir Dinge mit der sozialen Umgebung anstellen können. Es werden jetzt Daten von allen gesammelt -- von dem gesamten kollektiven Speicher davon, wie, visuell die Erde aussieht -- und alles wird miteinander verbunden. All diese Fotos werden miteinander verbunden und es entsteht etwas, das größer ist als die Summe der Teile. Sie erhalten ein Modell, das aus der ganzen Erde entsteht. Betrachten Sie dies als die Fortsetzung der Arbeit von Stephen Lawlers an Virtual Earth. Und das ist etwas, das durch die Komplexität, mit der die Menschen es verwenden, wächst und dessen Nutzen für den Benutzer mit der Anwendung immer größer wird. Ihre eigenen Fotos werden mit Metadaten beschildert, die eine andere Person eingegeben hat. Wenn sich jemand die Mühe gemacht hat und all diese Heiligen beschriftet hat und mitteilt, wer sie alle sind, dann wird mein Foto von der Notre Dame-Kathedrale plötzlich mit all diesen Daten angereichert und ich kann sie als Ausgangspunkt benutzen, um in diesen Raum zu tauchen, in diese Metaverse, die Fotos von anderen Personen benutzen und somit eine Art von übergreifender modaler sozialer Erfahrung mit der Nutzung von anderen Anbietern machen. Und natürlich, Nebenprodukt all dessen sind die immens reichen virtuellen Modelle von jedem interessanten Teil der Erde, die nicht nur durch Überflüge oder Satellitenbilder und so weiter erhalten wurden, sondern durch kollektive Speicher.
What the point here really is is that we can do things with the social environment. This is now taking data from everybody -- from the entire collective memory, visually, of what the Earth looks like -- and link all of that together. Those photos become linked, and they make something emergent that's greater than the sum of the parts. You have a model that emerges of the entire Earth. Think of this as the long tail to Stephen Lawler's Virtual Earth work. And this is something that grows in complexity as people use it, and whose benefits become greater to the users as they use it. Their own photos are getting tagged with meta-data that somebody else entered. If somebody bothered to tag all of these saints and say who they all are, then my photo of Notre Dame Cathedral suddenly gets enriched with all of that data, and I can use it as an entry point to dive into that space, into that meta-verse, using everybody else's photos, and do a kind of a cross-modal and cross-user social experience that way. And of course, a by-product of all of that is immensely rich virtual models of every interesting part of the Earth, collected not just from overhead flights and from satellite images and so on, but from the collective memory.
Vielen Dank. (Applaus).
Thank you so much. (Applause)
(Applause ends)
Chris Anderson: Verstehe ich Sie richtig? Ihre Software ermöglicht, dass zu einem bestimmten Zeitpunkt, innerhalb der nächsten Jahre, alle Bilder, die von jemandem in der Welt gemeinsam benutzt werden im Prinzip miteinander verknüpft werden?
Chris Anderson: Do I understand this right? What your software is going to allow, is that at some point, really within the next few years, all the pictures that are shared by anyone across the world are going to link together?
BAA: Ja. Sie macht nichts anderes als Entdecken. Wenn Sie wollen erstellt sie Hyperlinks zwischen den Bildern. Und sie tut dies aufgrund des Inhalts in den Bildern. Und das ist wirklich aufregend, wenn Sie an die Fülle der semantischen Informationen denken, die viele dieser Bilder besitzen. Wie wenn Sie eine Websuche für Bilder vornehmen, wo Sie Sätze eingeben und der Text der Website enthält viele Informationen darüber, welches Bild das ist. Aber wie wäre es, wenn das Bild Sie mit all Ihren Bildern verknüpft? Dann ist der Umfang der semantischen Querverbindung und die Fülle, die sich daraus ergibt, wirklich enorm. Es ist ein klassischer Netzwerkeffekt.
BAA: Yes. What this is really doing is discovering, creating hyperlinks, if you will, between images. It's doing that based on the content inside the images. And that gets really exciting when you think about the richness of the semantic information a lot of images have. Like when you do a web search for images, you type in phrases, and the text on the web page is carrying a lot of information about what that picture is of. What if that picture links to all of your pictures? The amount of semantic interconnection and richness that comes out of that is really huge.
CA: Blaise, das ist wirklich unglaublich. Herzlichen Glückwunsch.
It's a classic network effect.
BAA: Haben Sie vielen Dank.
CA: Truly incredible. Congratulations.