What I'm going to show you first, as quickly as I can, is some foundational work, some new technology that we brought to Microsoft as part of an acquisition almost exactly a year ago. This is Seadragon, and it's an environment in which you can either locally or remotely interact with vast amounts of visual data.
Vou mostrar em primeiro lugar, tão rapidamente quanto possa, algum do trabalho de base, uma tecnologia nova que trouxemos para a Microsoft como parte de uma aquisição, há cerca de um ano. Este é o Seadragon. É um ambiente em que podemos interagir, local ou remotamente, com uma grande quantidade de dados visuais.
We're looking at many, many gigabytes of digital photos here and kind of seamlessly and continuously zooming in, panning through it, rearranging it in any way we want. And it doesn't matter how much information we're looking at, how big these collections are or how big the images are. Most of them are ordinary digital camera photos, but this one, for example, is a scan from the Library of Congress, and it's in the 300 megapixel range. It doesn't make any difference because the only thing that ought to limit the performance of a system like this one is the number of pixels on your screen at any given moment. It's also very flexible architecture. This is an entire book, so this is an example of non-image data. This is "Bleak House" by Dickens. Every column is a chapter. To prove to you that it's really text, and not an image, we can do something like so, to really show that this is a real representation of the text; it's not a picture. Maybe this is an artificial way to read an e-book. I wouldn't recommend it.
Estamos a ver aqui muitos gigabytes de fotografias digitais, ampliando-as de forma contínua e suave, navegando e reorganizando-as da forma que quisermos, seja qual for a quantidade de informações que estejamos a ver, o tamanho destas coleções ou das imagens. São sobretudo fotografias tiradas com câmaras digitais normais, mas esta, por exemplo, é uma digitalização da Biblioteca do Congresso, e está na ordem dos 300 megapíxeis. Não faz qualquer diferença porque a única coisa que deve limitar o desempenho de um sistema como este é o número de píxeis no ecrã, num dado momento. É também uma arquitetura muito flexível. Isto é um livro inteiro. Isto é um exemplo de dados que não são imagens. Isto é o "Casa Desolada", de Charles Dickens. Cada coluna é um capítulo. Para vos provar que é mesmo texto, e não uma imagem, podemos fazer isto, para mostrar que isto é uma representação real de texto, não é uma imagem. Não recomendo esta forma artificial de ler um e-book.
This is a more realistic case, an issue of The Guardian. Every large image is the beginning of a section. And this really gives you the joy and the good experience of reading the real paper version of a magazine or a newspaper, which is an inherently multi-scale kind of medium. We've done something with the corner of this particular issue of The Guardian. We've made up a fake ad that's very high resolution -- much higher than in an ordinary ad -- and we've embedded extra content. If you want to see the features of this car, you can see it here. Or other models, or even technical specifications. And this really gets at some of these ideas about really doing away with those limits on screen real estate. We hope that this means no more pop-ups and other rubbish like that -- shouldn't be necessary.
Este é um cenário mais realista. É uma edição do The Guardian. Cada imagem grande é o início de uma secção. E isto dá-nos o prazer e a experiência positiva de ler a versão em papel de uma revista ou de um jornal, que é um tipo de media multi-escala por definição. Também fizemos uma coisa com o canto desta edição em particular do The Guardian. Criámos um anúncio falso que é de muito alta resolução, muito mais alta do que seria possível obter num anúncio normal e introduzimos conteúdo extra. Podemos ver aqui as características deste carro, Ou outros modelos, ou mesmo especificações técnicas. Isto mostra algumas das ideias de como ultrapassarmos as limitações do espaço disponível no ecrã. Esperamos que isto signifique o fim dos "pop-ups" e outras porcarias do género.
Of course, mapping is one of those obvious applications for a technology like this. And this one I really won't spend any time on, except to say that we have things to contribute to this field as well. But those are all the roads in the U.S. superimposed on top of a NASA geospatial image. So let's pull up, now, something else. This is actually live on the Web now; you can go check it out.
Claro, a cartografia é uma das mais óbvias aplicações de uma tecnologia assim. Não vou perder muito tempo com isto, exceto para dizer que também contribuímos para este campo. Mas estas são todas as estradas dos EUA sobrepostas numa imagem geo-espacial da NASA. Agora vou mostrar outra coisa. Isto é em direto via Internet, podem ir lá ver.
This is a project called Photosynth, which marries two different technologies. One of them is Seadragon and the other is some very beautiful computer-vision research done by Noah Snavely, a graduate student at the University of Washington, co-advised by Steve Seitz at U.W. and Rick Szeliski at Microsoft Research. A very nice collaboration. And so this is live on the Web. It's powered by Seadragon. You can see that when we do these sorts of views, where we can dive through images and have this kind of multi-resolution experience.
É um projeto chamado PhotoSynth que alia duas tecnologias diferentes. Uma é o Seadragon e a outra é uma magnífica pesquisa sobre visão informatizada. de Noah Snavely, um estudante na Universidade de Washington, coorientado por Steve Seitz da mesma universidade e por Rick Szeliski da Microsoft Research. Uma ótima colaboração. Isto é em direto na Web, suportado pela tecnologia Seadragon. Vemos que, quando fazemos este tipo de vistas podemos atravessar imagens e ter este tipo de experiência multi-resolução.
But the spatial arrangement of the images here is actually meaningful. The computer vision algorithms have registered these images together so that they correspond to the real space in which these shots -- all taken near Grassi Lakes in the Canadian Rockies -- all these shots were taken. So you see elements here of stabilized slide-show or panoramic imaging, and these things have all been related spatially. I'm not sure if I have time to show you any other environments. Some are much more spatial. I would like to jump straight to one of Noah's original data-sets -- this is from an early prototype that we first got working this summer -- to show you what I think is really the punch line behind the Photosynth technology, It's not necessarily so apparent from looking at the environments we've put up on the website. We had to worry about the lawyers and so on.
Mas o arranjo espacial das imagens tem um significado. Os algoritmos de visão por computador registaram estas imagens juntas, para que correspondam ao espaço real em que estas fotografias foram tiradas, todas elas perto dos Lagos Grassi nas Montanhas Rochosas do Canadá, Vemos aqui elementos de um diapositivo estabilizado ou de imagens panorâmicas, todas relacionadas espacialmente. Não sei se tenho tempo para vos mostrar outros ambientes. Aqui estão alguns muito mais espaciais. Gostava agora de passar para um dos conjuntos de dados originais do Noah. Este é um dos primeiros protótipos do PhotoSynth que colocámos a funcionar no Verão para vos mostrar o que acho ser o mais importante desta tecnologia, a tecnologia PhotoSynth. Não é assim tão claro, quando olhamos para os ambientes que colocámos no sítio web. Tínhamos que nos preocupar com os advogados e tal.
This is a reconstruction of Notre Dame Cathedral that was done entirely computationally from images scraped from Flickr. You just type Notre Dame into Flickr, and you get some pictures of guys in T-shirts, and of the campus and so on. And each of these orange cones represents an image that was discovered to belong to this model. And so these are all Flickr images, and they've all been related spatially in this way. We can just navigate in this very simple way.
Esta é uma reconstrução da Catedral de Notre-Dame que foi feita de forma totalmente computacional de imagens obtidas do Flickr. Basta escrever Notre-Dame no Flickr, e obtemos fotografias de tipos com t-shirts e da área circundante, etc. Cada um destes cones cor-de-laranja representa uma imagem que descobrimos fazia parte deste modelo. Estas imagens são todas do Flickr, e foram todas relacionadas espacialmente desta forma. Podemos navegar de forma muito simples.
(Applause)
(Aplausos)
(Applause ends)
You know, I never thought that I'd end up working at Microsoft. It's very gratifying to have this kind of reception here.
Nunca pensei que fosse acabar a trabalhar na Microsoft. É muito gratificante ter este tipo de receção aqui.
(Laughter)
(Risos)
I guess you can see this is lots of different types of cameras: it's everything from cell-phone cameras to professional SLRs, quite a large number of them, stitched together in this environment. If I can find some of the sort of weird ones -- So many of them are occluded by faces, and so on. Somewhere in here there is actually a series of photographs -- here we go. This is actually a poster of Notre Dame that registered correctly. We can dive in from the poster to a physical view of this environment.
Acho que podem ver que isto provém de muitas câmaras de diferentes tipos, desde telemóveis a SLRs profissionais, um grande número de fotografias, agrupadas neste ambiente. Vou mostrar-vos algumas das mais estranhas. Muitas delas estão escondidas por rostos, etc. Algures aqui há uma série de fotografias. Cá está. Isto é um poster de Notre-Dame que foi registado corretamente. Podemos mergulhar no poster para uma vista física deste ambiente.
What the point here really is is that we can do things with the social environment. This is now taking data from everybody -- from the entire collective memory, visually, of what the Earth looks like -- and link all of that together. Those photos become linked, and they make something emergent that's greater than the sum of the parts. You have a model that emerges of the entire Earth. Think of this as the long tail to Stephen Lawler's Virtual Earth work. And this is something that grows in complexity as people use it, and whose benefits become greater to the users as they use it. Their own photos are getting tagged with meta-data that somebody else entered. If somebody bothered to tag all of these saints and say who they all are, then my photo of Notre Dame Cathedral suddenly gets enriched with all of that data, and I can use it as an entry point to dive into that space, into that meta-verse, using everybody else's photos, and do a kind of a cross-modal and cross-user social experience that way. And of course, a by-product of all of that is immensely rich virtual models of every interesting part of the Earth, collected not just from overhead flights and from satellite images and so on, but from the collective memory.
O que quero realçar aqui é que podemos fazer coisas com o ambiente social. Isto está a obter dados de toda a gente, da memória coletiva inteira de como é a Terra, visualmente, e a ligar tudo. Todas estas fotos estão agora ligadas e fazem emergir algo que é maior do que a soma das partes. Temos agora um modelo que emerge da Terra inteira. Pensem nisto como uma extensão do trabalho do Stephen Lawler, Virtual Earth. É uma coisa que cresce em complexidade à medida que as pessoas o usam, e cujas benefícios crescem à medida que os utilizadores o usam. As suas fotos estão a ser marcadas com meta-dados que outras pessoas introduziram. Se alguém se der ao trabalho de marcar todos estes santos e dizer quem são, a minha foto da Catedral de Notre-Dame fica subitamente enriquecida com todos estes dados, e posso usá-la como ponto de entrada para entrar nesse espaço, nesse meta-verso, usando as fotos das outras pessoas, e fazer uma experiência social transversal no que diz respeito a modos e utilizadores. Claro, como subproduto de tudo isto temos modelos virtuais imensamente ricos de todas as partes interessantes da Terra, a partir não só de fotos aéreas e imagens de satélite,
Thank you so much.
mas também da nossa memória coletiva.
(Applause)
Muito obrigado. (Aplausos)
(Applause ends)
Chris Anderson: Do I understand this right? What your software is going to allow, is that at some point, really within the next few years, all the pictures that are shared by anyone across the world are going to link together?
Chris Anderson: Será que percebi corretamente? O seu software vai permitir que, a dada altura, nos próximos anos, todas as fotografias que são partilhadas por toda a gente vão estar todas ligadas?
BAA: Yes. What this is really doing is discovering, creating hyperlinks, if you will, between images. It's doing that based on the content inside the images. And that gets really exciting when you think about the richness of the semantic information a lot of images have. Like when you do a web search for images, you type in phrases, and the text on the web page is carrying a lot of information about what that picture is of. What if that picture links to all of your pictures? The amount of semantic interconnection and richness that comes out of that is really huge. It's a classic network effect.
Blaise Aguera: Sim. Na realidade, isto cria hiperligações entre imagens. E fá-lo com base no conteúdo das imagens. Isso é particularmente entusiasmante quando pensamos na riqueza da informação semântica que muitas destas imagens têm. Quando pesquisamos imagens na web, escrevemos frases, e o texto na página traz muitas informações sobre essas imagens. Se essa imagem estiver ligada a todas as nossas fotografias, a quantidade de interligações semânticas e de riqueza que obtemos é enorme. É o clássico efeito de rede. CA: É incrível. Parabéns.
CA: Truly incredible. Congratulations.
BA: Muito obrigado.