I'd like to tell you about two games of chess. The first happened in 1997, in which Garry Kasparov, a human, lost to Deep Blue, a machine. To many, this was the dawn of a new era, one where man would be dominated by machine. But here we are, 20 years on, and the greatest change in how we relate to computers is the iPad, not HAL.
Opowiem o dwóch rozgrywkach szachowych. Pierwsza miała miejsce w 1997, wtedy Garry Kasparov przegrał z maszyną - Deep Blue. Wielu uznało to za nadejście nowej epoki, w której nad człowiekiem dominuje maszyna. Ale teraz, 20 lat później, największe przełożenie na nasz stosunek do komputerów ma iPad, a nie HAL z Odysei Kosmicznej.
The second game was a freestyle chess tournament in 2005, in which man and machine could enter together as partners, rather than adversaries, if they so chose. At first, the results were predictable. Even a supercomputer was beaten by a grandmaster with a relatively weak laptop. The surprise came at the end. Who won? Not a grandmaster with a supercomputer, but actually two American amateurs using three relatively weak laptops. Their ability to coach and manipulate their computers to deeply explore specific positions effectively counteracted the superior chess knowledge of the grandmasters and the superior computational power of other adversaries. This is an astonishing result: average men, average machines beating the best man, the best machine. And anyways, isn't it supposed to be man versus machine? Instead, it's about cooperation, and the right type of cooperation.
Druga rozgrywka to turniej freestyle z 2005, w którym człowiek i maszyna mogli uczestniczyć jako partnerzy, a nie jako przeciwnicy. Na początku wyniki były przewidywalne. Nawet superkomputer został pokonany przez arcymistrza ze stosunkowo słabym laptopem. Zaskakujący okazał się finał. Kto wygrał? Wcale nie arcymistrz z superkomputerem, a dwóch amerykańskich amatorów używających trzech słabych laptopów. Ich umiejętności sterowania komputerem do określenia sytuacji na szachownicy skutecznie stawiały czoła lepszej znajomości szachów arcymistrza i lepszej mocy obliczeniowej przeciwników. Rezultat jest zdumiewający: przeciętni ludzie i maszyny pokonali najlepszego człowieka i najlepszą maszynę. Czy nie miała to być maszyna przeciw człowiekowi? Zamiast tego, mamy owocną współpracę.
We've been paying a lot of attention to Marvin Minsky's vision for artificial intelligence over the last 50 years. It's a sexy vision, for sure. Many have embraced it. It's become the dominant school of thought in computer science. But as we enter the era of big data, of network systems, of open platforms, and embedded technology, I'd like to suggest it's time to reevaluate an alternative vision that was actually developed around the same time. I'm talking about J.C.R. Licklider's human-computer symbiosis, perhaps better termed "intelligence augmentation," I.A.
Dużo uwagi zwracaliśmy na pogląd Marvina Minskiego dotyczący sztucznej inteligencji przez ostatnie 50 lat. Oczywiście jest ona atrakcyjna. Wielu zostało jej zwolennikami. Stała się dominującą szkołą w informatyce. Jednak u progu ery wielkich danych, systemów sieciowych, otwartych platform, technologii wbudowanych, uważam, że to czas na ponowną ocenę alternatywnych wizji, które opracowywano w tym samym czasie. Myślę o symbiozie człowiek komputer wg J.C.R. Licklidera być może lepiej określonej jako "inteligencja rozszerzona".
Licklider was a computer science titan who had a profound effect on the development of technology and the Internet. His vision was to enable man and machine to cooperate in making decisions, controlling complex situations without the inflexible dependence on predetermined programs. Note that word "cooperate." Licklider encourages us not to take a toaster and make it Data from "Star Trek," but to take a human and make her more capable. Humans are so amazing -- how we think, our non-linear approaches, our creativity, iterative hypotheses, all very difficult if possible at all for computers to do. Licklider intuitively realized this, contemplating humans setting the goals, formulating the hypotheses, determining the criteria, and performing the evaluation. Of course, in other ways, humans are so limited. We're terrible at scale, computation and volume. We require high-end talent management to keep the rock band together and playing. Licklider foresaw computers doing all the routinizable work that was required to prepare the way for insights and decision making.
Licklider był tytanem informatyki, który miał ogromny wpływ na rozwój technologii i Internetu. Jego pogląd zakładał współpracę człowieka z maszyną w podejmowaniu decyzji, kontrolowaniu złożonych zdarzeń bez sztywnej zależności od wcześniej ustalonych programów. Zwracam uwagę na słowo "współpraca". Licklider zachęca, aby nie wykorzystywać tostera i nie zmieniać go w androida Datę z "Star Treka" ale żeby nadać człowiekowi więcej zdolności. Ludzie są niesamowici, to jak myślimy, nasze nieliniowe podejście, kreatywność iteracyjne hipotezy - wszystko bardzo trudne, jeśli w ogóle możliwe do wykonania przez komputery. Licklider rozumiał to intuicyjnie - rozważania człowieka wyznaczanie celów, formułowanie hipotez, określanie kryteriów i ocenianie. Ludzie są też ograniczeni. Nie radzimy sobie z skalowaniem, liczeniem. Konieczne jest umiejętne zarządzanie talentami, żeby zespół rockowy mógł przetrwać i grać. Licklider przewidział, że komputery będą wykonywać całą rutynową pracę, potrzebną, by dać pole dla zrozumienia i podejmowania decyzji.
Silently, without much fanfare, this approach has been compiling victories beyond chess. Protein folding, a topic that shares the incredible expansiveness of chess — there are more ways of folding a protein than there are atoms in the universe. This is a world-changing problem with huge implications for our ability to understand and treat disease. And for this task, supercomputer field brute force simply isn't enough. Foldit, a game created by computer scientists, illustrates the value of the approach. Non-technical, non-biologist amateurs play a video game in which they visually rearrange the structure of the protein, allowing the computer to manage the atomic forces and interactions and identify structural issues. This approach beat supercomputers 50 percent of the time and tied 30 percent of the time. Foldit recently made a notable and major scientific discovery by deciphering the structure of the Mason-Pfizer monkey virus. A protease that had eluded determination for over 10 years was solved was by three players in a matter of days, perhaps the first major scientific advance to come from playing a video game.
W spokoju, bez większego rozgłosu ta koncepcja odniosła zwycięstwo również poza szachami. Zwijanie białka – temat, który jest tak rozległy jak szachy: jest więcej sposobów zwijania białka niż atomów we wszechświecie. To kluczowy problem z ogromnym wpływem na naszą zdolność rozumienia i leczenia chorób. A do takiego zadania, siła obliczeniowa nie wystarcza. Foldit, gra stworzona przez naukowców, uzmysławia wartość takiego podejścia. Nie-specjaliści, nie-biolodzy, a amatorzy grają w grę, przestawiają na ekranie strukturę białka, pozwalając komputerowi na uwzględnienie sił atomowych i interakcji oraz rozpoznawanie problemów strukturalnych. To podejście pokonało superkomputery w 50% przypadków i zremisowało w 30%. Dzięki Foldit niedawno dokonano znaczącego odkrycia, rozwiązano strukturę małpiego wirusa Masona-Pfizera. Proteaza wymykająca się ustaleniu przez ponad 10 lat została rozwiązana przez trzech graczy w kilka dni, możliwe, że to pierwszy poważny postęp naukowy pochodzący z gry komputerowej.
Last year, on the site of the Twin Towers, the 9/11 memorial opened. It displays the names of the thousands of victims using a beautiful concept called "meaningful adjacency." It places the names next to each other based on their relationships to one another: friends, families, coworkers. When you put it all together, it's quite a computational challenge: 3,500 victims, 1,800 adjacency requests, the importance of the overall physical specifications and the final aesthetics. When first reported by the media, full credit for such a feat was given to an algorithm from the New York City design firm Local Projects. The truth is a bit more nuanced. While an algorithm was used to develop the underlying framework, humans used that framework to design the final result. So in this case, a computer had evaluated millions of possible layouts, managed a complex relational system, and kept track of a very large set of measurements and variables, allowing the humans to focus on design and compositional choices. So the more you look around you, the more you see Licklider's vision everywhere. Whether it's augmented reality in your iPhone or GPS in your car, human-computer symbiosis is making us more capable.
W ubiegłym roku, na miejscu Bliźniaczych Wież został odsłonięty pomnik 11 września. Przedstawia on nazwiska tysięcy ofiar wykorzystując piękny pomysł - "wymowną bliskość". Nazwiska zostały umieszczone obok siebie na podstawie ich wzajemnych relacji jako: przyjaciół, rodzin, współpracowników. Zestawienie ich wszystkich było trudne obliczeniowo wyzwanie: 3500 ofiar, 1800 związków, konieczność uwzględnienia fizycznych wymagań, i estetyka. Po raz pierwszy media opisywały, algorytm powstał w Nowojorskiej pracowni Local Projects. Prawda jest nieco bardziej złożona. Podczas gdy algorytmu używano, by rozwinąć szkielet, był on już wykorzystywany, aby zaprojektować efekt końcowy. Zatem w tym przypadku, komputer określał miliony możliwych układów, zarządzał złożonym, relacyjnym systemem i śledził bardzo duży zestaw pomiarów i zmiennych, pozwalając ludziom skupić się na projektowaniu i możliwościach kompozycyjnych. Tak więc, im częściej patrzysz wokół siebie tym więcej dostrzegasz wyobrażeń Licklidera wokół. Czy to rozszerzona rzeczywistość w iPhonie, czy GPS w samochodzie symbioza człowiek-komputer daje większe zdolności.
So if you want to improve human-computer symbiosis, what can you do? You can start by designing the human into the process. Instead of thinking about what a computer will do to solve the problem, design the solution around what the human will do as well. When you do this, you'll quickly realize that you spent all of your time on the interface between man and machine, specifically on designing away the friction in the interaction. In fact, this friction is more important than the power of the man or the power of the machine in determining overall capability. That's why two amateurs with a few laptops handily beat a supercomputer and a grandmaster. What Kasparov calls process is a byproduct of friction. The better the process, the less the friction. And minimizing friction turns out to be the decisive variable.
Zatem, jeśli chcesz udoskonalać symbiozę człowiek-komputer co możesz zrobić? Możesz zacząć od nadania metodzie cech ludzkich. Zamiast myśleć o tym jak komputer rozwiąże problem, zaprojektuj takie rozwiązanie jakby robił to człowiek. Kiedy to zrobisz, zdasz sobie sprawę, że spędzasz cały swój czas na interakcji między człowiekiem a maszyną, projektując rozwiązania wykluczające opór. Opór jest ważniejszym czynnikiem niż zdolności człowieka czy moc maszyny w określaniu całkowitych możliwości. Dlatego, dwóch amatorów z kilkoma laptopami zręcznie pokonało superkomputer i arcymistrza. Kasparow mówi, że procesowanie to produkt uboczny oporu. Lepsza metoda współpracy – mniej oporu. Minimalizowanie oporu okazuje się być decydujące.
Or take another example: big data. Every interaction we have in the world is recorded by an ever growing array of sensors: your phone, your credit card, your computer. The result is big data, and it actually presents us with an opportunity to more deeply understand the human condition. The major emphasis of most approaches to big data focus on, "How do I store this data? How do I search this data? How do I process this data?" These are necessary but insufficient questions. The imperative is not to figure out how to compute, but what to compute. How do you impose human intuition on data at this scale?
Albo inny przykład: dużo danych. Każda interakcja na świecie jest rejestrowana przez wciąż rosnącą gamę czujników: telefon, kartę kredytową, komputer. Rezultatem jest ogrom danych co daje nam możliwość bardziej wnikliwego zrozumienia ludzi. Podejścia do zbiorów danych skupiają się na pytaniach: “Jak je przechowywać? Jak je przeszukiwać? Jak je przetwarzać?” To ważne, ale niewystarczające pytania. Nie jest konieczne wymyślanie, jak obliczać, ale co obliczać. Jak narzucić ludzką intuicję danym w takiej skali?
Again, we start by designing the human into the process. When PayPal was first starting as a business, their biggest challenge was not, "How do I send money back and forth online?" It was, "How do I do that without being defrauded by organized crime?" Why so challenging? Because while computers can learn to detect and identify fraud based on patterns, they can't learn to do that based on patterns they've never seen before, and organized crime has a lot in common with this audience: brilliant people, relentlessly resourceful, entrepreneurial spirit — (Laughter) — and one huge and important difference: purpose. And so while computers alone can catch all but the cleverest fraudsters, catching the cleverest is the difference between success and failure.
Ponownie, zaczynamy od nadania metodzie cech ludzkich. Kiedy PayPal rozpoczęło działalność ich największym wyzwaniem nie było: "Jak przesyłać pieniądze online?" ale: "Jak to zrobić i nie być oszukanym przez przestępczość zorganizowaną?" Dlaczego to takie trudne? Wprawdzie komputery umieją wykrywać oszustwa na podstawie modeli, ale nie potrafią ich tworzyć bazując na wzorcach, których nigdy wcześniej nie widziały, a przestępczość zorganizowana ma wiele wspólnego z tą publicznością: to genialni ludzie. bezwzględnie sprytni, przedsiębiorczy (Śmiech) ale mają też jedną ogromną i zasadniczą różnicę: cel. Podczas gdy komputery same łapią wszystkich oprócz najsprytniejszych oszustów, złapanie tych najsprytniejszych stanowi różnicę między sukcesem a porażką.
There's a whole class of problems like this, ones with adaptive adversaries. They rarely if ever present with a repeatable pattern that's discernable to computers. Instead, there's some inherent component of innovation or disruption, and increasingly these problems are buried in big data.
Jest cała klasa problemów ja adaptacja przeciwników. Rzadko, jeśli w ogóle są one obecne w powtarzalnym modelu, który jest rozpoznawalny przez komputery. Zamiast tego, istnieje nieodłączny element innowacyjności czy dezorganizacji, i coraz częściej te problemy są ukryte w wielkich danych.
For example, terrorism. Terrorists are always adapting in minor and major ways to new circumstances, and despite what you might see on TV, these adaptations, and the detection of them, are fundamentally human. Computers don't detect novel patterns and new behaviors, but humans do. Humans, using technology, testing hypotheses, searching for insight by asking machines to do things for them. Osama bin Laden was not caught by artificial intelligence. He was caught by dedicated, resourceful, brilliant people in partnerships with various technologies.
Na przykład terroryzm. Terroryści zawsze dostosowują się do nowych okoliczności i pomimo tego co widać w telewizji, ich adaptacje, i wykrywanie ich, są całkowicie ludzkie. Komputery nie wykrywają nowych modeli i zachowań a ludzie tak. Ludzie wykorzystujący technikę, testujący hipotezy, szukający zależności w odpowiedziach na polecenia zadawane maszynom. Osama bin Laden nie został schwytany dzięki sztucznej inteligencji. Został złapany przez oddanych, pomysłowych, genialnych ludzi przy współudziale różnych technologii.
As appealing as it might sound, you cannot algorithmically data mine your way to the answer. There is no "Find Terrorist" button, and the more data we integrate from a vast variety of sources across a wide variety of data formats from very disparate systems, the less effective data mining can be. Instead, people will have to look at data and search for insight, and as Licklider foresaw long ago, the key to great results here is the right type of cooperation, and as Kasparov realized, that means minimizing friction at the interface.
Choć brzmi to kusząco, nie da się w sposób ściśle określony znaleźć sposobu odpowiedzi korzystając z eksploracji danych. Nie mamy przycisku "znajdź terrorystę", a im więcej danych integrujemy z wielu różnorodnych źródeł, w wielu różnych formatach, z odmiennych systemów, tym mniej efektywne staje się zdobywanie danych. Zamiast tego, ludzie będą przyglądać się danym i poszukiwać zależności, a jak Licklider przewidział dawno temu, kluczem do znacznych rezultatów jest tu odpowiedni typ współpracy Kasparow zaś sugerował, że klucz do minimalizowania nieporozumień tkwi w interfejsie.
Now this approach makes possible things like combing through all available data from very different sources, identifying key relationships and putting them in one place, something that's been nearly impossible to do before. To some, this has terrifying privacy and civil liberties implications. To others it foretells of an era of greater privacy and civil liberties protections, but privacy and civil liberties are of fundamental importance. That must be acknowledged, and they can't be swept aside, even with the best of intents.
Obecnie dzięki tej metodzie możliwe jest m.in. przeczesywanie wszystkich dostępnych danych z wielu różnych źródeł, identyfikacja kluczowych relacji i umieszczanie ich w jednym miejscu, co wcześniej było prawie niemożliwe. Dla niektórych ma to zastraszające konsekwencje dla prywatności i swobód obywatelskich. Dla innych zaś to zapowiedź ery większej ochrony prywatności i swobód, w każdym razie mają one fundamentalne znaczenie. Muszą zostać uznane i nie mogą być zniesione, nawet z najlepszymi zamiarami.
So let's explore, through a couple of examples, the impact that technologies built to drive human-computer symbiosis have had in recent time.
Przyjrzyjmy się kilku przykładom wpływu jaki technologie wywarły na symbiozę człowiek-komputer w ostatnim czasie.
In October, 2007, U.S. and coalition forces raided an al Qaeda safe house in the city of Sinjar on the Syrian border of Iraq. They found a treasure trove of documents: 700 biographical sketches of foreign fighters. These foreign fighters had left their families in the Gulf, the Levant and North Africa to join al Qaeda in Iraq. These records were human resource forms. The foreign fighters filled them out as they joined the organization. It turns out that al Qaeda, too, is not without its bureaucracy. (Laughter) They answered questions like, "Who recruited you?" "What's your hometown?" "What occupation do you seek?"
W październiku 2007, amerykańskie i koalicyjne siły zaatakowały kryjówkę Al-Kaidy w Sindżar na syryjskiej granicy w Iraku. Odkryli tam skarbnicę dokumentów: 700 biograficznych szkiców zagranicznych bojowników. Opuścili oni swoje rodziny w Zatoce Perskiej, Lewancie i Północnej Afryce, aby dołączyć do Al-Kaidy w Iraku. Odnalezione dokumenty to kwestionariusz osobowe które, bojownicy wypełniali, kiedy dołączali do organizacji. Okazuje się, że również Al-Kaida nie jest pozbawiona biurokracji. (Śmiech) Odpowiadali na pytania typu: ”Kto cię zwerbował?”, “Z jakiego miasta pochodzisz?” „Czym chciałbyś się zajmować?”
In that last question, a surprising insight was revealed. The vast majority of foreign fighters were seeking to become suicide bombers for martyrdom -- hugely important, since between 2003 and 2007, Iraq had 1,382 suicide bombings, a major source of instability. Analyzing this data was hard. The originals were sheets of paper in Arabic that had to be scanned and translated. The friction in the process did not allow for meaningful results in an operational time frame using humans, PDFs and tenacity alone. The researchers had to lever up their human minds with technology to dive deeper, to explore non-obvious hypotheses, and in fact, insights emerged. Twenty percent of the foreign fighters were from Libya, 50 percent of those from a single town in Libya, hugely important since prior statistics put that figure at three percent. It also helped to hone in on a figure of rising importance in al Qaeda, Abu Yahya al-Libi, a senior cleric in the Libyan Islamic fighting group. In March of 2007, he gave a speech, after which there was a surge in participation amongst Libyan foreign fighters.
W ostatnim pytaniu został ujawniony zaskakujący pogląd. Zdecydowana większość zagranicznych bojowników starała się zostać zamachowcem-samobójcą dla męczeństwa co było niezwykle ważne, ponieważ między 2003 a 2007, w Iraku miało miejsce 1382 zamachów samobójczych główny powód niestabilności. Analiza tych danych była trudna. Oryginały były po arabsku zatem musiały zostać zeskanowane i przetłumaczone. Nieporozumienia w tym zadaniu nie pozwalały na znaczący postęp w operacyjnych ramach czasowych wykorzystując jedynie ludzi, PDF-y i samodzielną wytrwałość. Badacze musieli podnieść ludzkie umysły i technologię na poziom pozwalający zanurzyć się głębiej, odkryć nieoczywiste hipotezy, i faktycznie takie się pojawiły. 20% zagranicznych bojowników było z Libii, 50% z nich z jednego miasta w Libii, co niezwykle ważne, ponieważ wcześniejsze statystyki mówiły o trzech procentach. Pomogło to również dostrzec, że coraz większego znaczenia w al Kaidzie nabiera Abu Yahya al-Libi, starszy duchowny w Libijskiej Islamskiej Grupie Bojowej. W marcu 2007, wygłosił on przemówienie, po którym gwałtownie wzrosła liczba libijskich bojowników
Perhaps most clever of all, though, and least obvious, by flipping the data on its head, the researchers were able to deeply explore the coordination networks in Syria that were ultimately responsible for receiving and transporting the foreign fighters to the border. These were networks of mercenaries, not ideologues, who were in the coordination business for profit. For example, they charged Saudi foreign fighters substantially more than Libyans, money that would have otherwise gone to al Qaeda. Perhaps the adversary would disrupt their own network if they knew they cheating would-be jihadists.
Prawdopodobnie najbardziej pomysłowe i najmniej oczywiste, jest to, że dzięki dokładnej analizie, naukowcy byli w stanie dogłębnie zbadać sieć organizacyjną w Syrii, która była całkowicie odpowiedzialna za przyjmowanie i transport zagranicznych bojowników do granicy. Była to sieć najemników, a nie ideologów, którzy byli w niej dla zysku. Na przykład, saudyjscy bojownicy opłacani byli znacznie lepiej niż libijscy, pieniędzmi które w przeciwnym razie trafiłyby do Al-Kaidy. Być może przeciwnicy mogliby przerwać ich własną sieć gdyby wiedzieli, że oszukują potencjalnych dżihadów.
In January, 2010, a devastating 7.0 earthquake struck Haiti, third deadliest earthquake of all time, left one million people, 10 percent of the population, homeless. One seemingly small aspect of the overall relief effort became increasingly important as the delivery of food and water started rolling. January and February are the dry months in Haiti, yet many of the camps had developed standing water. The only institution with detailed knowledge of Haiti's floodplains had been leveled in the earthquake, leadership inside. So the question is, which camps are at risk, how many people are in these camps, what's the timeline for flooding, and given very limited resources and infrastructure, how do we prioritize the relocation? The data was incredibly disparate. The U.S. Army had detailed knowledge for only a small section of the country. There was data online from a 2006 environmental risk conference, other geospatial data, none of it integrated. The human goal here was to identify camps for relocation based on priority need. The computer had to integrate a vast amount of geospacial information, social media data and relief organization information to answer this question. By implementing a superior process, what was otherwise a task for 40 people over three months became a simple job for three people in 40 hours,
W styczniu 2010, tragiczne trzęsienie ziemi, 7,0 w skali Richtera, nawiedziło Haiti. Było to trzecie najbardziej śmiercionośne trzęsienie ziemi, po którym milion ludzi, 10 % społeczeństwa, zostało bez dachu nad głową. Jeden pozornie niewielki aspekt pomocy humanitarnej stawał się coraz bardziej ważny, gdy dostarczenie żywności i wody stawało się coraz trudniejsze. Styczeń i luty są suchymi miesiącami na Haiti, a pomimo tego, w wielu obozach udało się wykorzystać wodę stojącą. Jedyna instytucja posiadająca szczegółową wiedzę o terenach zalewowych Haiti została zrównana z ziemią w trzęsieniu ziemi, a jej kierownictwo było wewnątrz. Zatem problemem stało się to, które obozy były zagrożone, ilu ludzi w nich przebywało, jakie były prognozy powodzi, oraz, przy bardzo ograniczonych zasobach i infrastrukturze, w jaki sposób uporządkować przemieszczanie ofiar? Dane były niewiarygodnie rozbieżne. Armia amerykańska miała szczegółową wiedzę dotyczącą tylko małej części kraju. Istniały dane online z konferencji o zagrożeniach dla środowiska z 2006 i inne dane geoprzestrzenne, ale żadne z nich nie były zintegrowane. Celem było określenie obozów do przeniesienia na podstawie pierwszeństwa potrzeb. Komputery muszą integrować ogromną ilość geoprzestrzennych informacji, danych z mediów społecznościowych i organizacji pomocowych w celu znalezienia odpowiedzi na ten problem. Nadając zadaniu najwyższy priorytet, co w przeciwnym razie byłoby zadaniem dla 40 osób przez 3 miesiące, stało się prostą pracą dla 3 osób przez 40 godzin,
all victories for human-computer symbiosis.
a wszystko dzięki symbiozie człowiek-komputer.
We're more than 50 years into Licklider's vision for the future, and the data suggests that we should be quite excited about tackling this century's hardest problems, man and machine in cooperation together. Thank you. (Applause) (Applause)
Jesteśmy ponad 50 lat w wyobrażeniu Licklidera dotyczącym przyszłości, zaś wyniki wskazują, że powinniśmy być dość uradowani, bo udało się rozwiązać największe problemy tego stulecia przy współpracy ludzi i maszyn. Dziękuję. (Brawa) (Brawa)