So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
ჩემი პირველი სამსახური პროგრამისტად დავიწყე. ეს იყო კოლეჯის პირველ წელს, როცა ფაქტიურად თინეიჯერი ვიყავი.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
მუშაობის დაწყებიდან მალევე, რაც კომპანიისთვის პროგრამების წერას გულისხმობდა, კომპანიაში მომუშავე მენეჯერი მოვიდა ჩემთან და ჩამჩურჩულა: "შეუძლია მას მიხვდეს, ვიტყუები თუ არა?" ოთახში მეტი არავინ იყო.
"Can who tell if you're lying? And why are we whispering?"
"ვის შეუძლია მიხვდეს? და რატომ ვჩურჩულებთ?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
მენეჯერმა ოთახში მდგარ კომპიუტერზე მიმანიშნა. "შეუძლია მიხვდეს, რომ ვიტყუები?" ამ მენეჯერს მდივანთან რომანი ჰქონდა.
(Laughter)
(სიცილი)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
მე ჯერ კიდევ თინეიჯერი ვიყავი და ჩურჩულით დავუყვირე: "დიახ, კომპიუტერს შეუძლია მიხვდეს, რომ იტყუებით"
(Laughter)
(სიცილი)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
მე კი ვიცინე, მაგრამ ახლა მე ვარ დასაცინი. დღესდღეობით არსებობს გამოთვლითი სისტემები, რომლებსაც შეუძლიათ ადამიანის სახის დამუშავებით, ემოციური მდგომარეობის და ტყუილის გამოცნობაც კი. სარეკლამოები და მთავრობებიც კი, ძალიან დაინტერესებულები არიან.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
მე პროგრამისტი იმიტომ გავხდი, რომ ერთ-ერთი იმ ბავშთაგანი ვიყავი, ვინც მათემატიკაზე და მეცნიერებაზე გიჟდება, მაგრამ რაღაც მომენტში ბირთვულ იარაღზე შევიტყვე და სერიოზულად დავფიქრდი სამეცნიერო ეთიკაზე. ამან შემაწუხა. თუმცა, ოჯახური გარემოებების გამო სამსახურის დაწყება სასწრაფოდ მჭირდებოდა. ამიტომ ტექნიკური სფეროს არჩევა გადავწყვიტე, სადაც სამსახურს უფრო ადვილად ვიშოვიდი და სადაც არ მომიწევდა პრობლემურ ეთიკურ კითხვებთან ჭიდილი. შედეგად კომპიუტერები ავარჩიე.
(Laughter)
(სიცილი)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
ჰა ჰა ჰა.. მე ვარ დასაცინი. დღესდღეობით, კოპიუტერული მეცნიერები ქმნიან პლატფორმებს, რომლებიც აკონტროლებენ, თუ რას ნახულობს მილიარდობით ადამიანი ყოველდღე. ისინი ქმნიან მანქანებს, რომლებიც წყვეტენ თუ ვის დაარტყან. ისინი ისეთ მანქანებს და იარაღებსაც კი ქმნიან, რომლებსაც ადამიანების მოკვლა შეუძლიათ ომში. აქ ყველგან ეთიკაა.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
მანქანური ინტელექტი აწმყოა. ჩვენ ამჟამად კომპიუტერებს მთელი რიგი გადაწყვეტილებების მისაღებად ვიყენებთ და ასევე ახალი გადაწყვეტებისთვისაც. ჩვენ კომპიუტერებს ისეთ კითხვებს ვუსვამთ, რომლებსაც არ აქვთ ერთი სწორი პასუხი, რომლებიც სუბიექტურია და ღიაა ინტერპრეტაციებისა და შეფასებისთვის.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
მაგალთად ვუსვამთ კითხვებს: "ვინ უნდა იქირაოს კომპანიამ?" "რომელი მეგობრის, რომელი სიახლე უნდა გაჩვენოთ" "რომელმა ნასამართლევმა უფრო დიდი შანსია, რომ გაიმეოროს დანაშაული" "რომელი სიახლე, ან ფილმი უნდა შევთავაზოთ ხალხს?"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
დიახ, ჩვენ დიდი ხანია ვიყენებთ კომპიუტერებს, მაგრამ ეს სხვა რამეა. ეს ისტორიული შემობრუნებაა, რადგან ჩვენ ვერ დავაფუძნებთ კომპიუტერებზე ასეთ სუბიექტურ გადაწყვეტილებებს, როგორც ვაკეთებდით თვითმფრინავის მართვის, ხიდების აშენების, და მთვარეზე გაფრენის შემთხვევაში. თვითმფინავები ხომ უფრო უსაფრთხოა? ხიდებიც არ ინგრევა. ამ შემთხვევებში მკაფიო წესებზე შევთანხმდით და ბუნების კანონებით ვხემძღვანელობთ. ჩვენ არ გვაქვს მსგავსი ნიშნულები და წესები ადამიანთა უწესრიგო ურთიერთობებში.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
ამ ყველაფერს ის უფრო ამძიმებს, რომ ჩვენი პროგრამები სულ უფრო ძლევამოსილი და ამავე დროს ნაკლებად გასაგები და უფრო კომპლექსური ხდება ცოტა ხნის წინ, გასულ ათწლეულში, კომპლექსურ ალგირითმებს დიდი მიღწევები ჰქონდათ. მათ ადამიანის სახეების ამოცნობა შეუძლიათ. ხელნაწერის გარჩევა შეუძლიათ, შეუძლიათ ყალბი საკრედიტო ბარათი ამოიცნონ და დაბლოკონ სპამი. ასევე თარგმნონ სხვადასხვა ენებზე. მათ რენტგენის სურათზე სიმსივნის აღმოჩენა შეუძლიათ. ისინი ჭადრაკში ადამიანს ამარცხებენ.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
ამ პროგრესის უმეტესობა ე.წ. "მანქანური სწავლებით" მიიღწევა. მანქანური სწავლება განსხვავდება ტრადიციული პროგრამირებისგან, როცა კომპიუტერს ზუსტ და დეტალურ ინსტრუქციებს აძლევთ. ამ შემთხვევაში სისტემას ბევრ მონაცემს აწვდით, მათ შორის უსტრუქტურო მონაცემს. ისეთი ტიპის მონაცემებს, რომლებსაც ჩვენ ციფრულ ცხოვრებაში ვქმნით და სისტემა ამ მონაცემების გარჩევას სწავლობს. ასევე, საკვანძოა, რომ ეს სისტემები ერთპასუხიანი ლოგიკით არ მუშაობენ. ისინი მარტივ პასუხს არ იძლევიან; პასუხი უფრო სავარაუდოა: "სავარაუდოდ ამას უფრო ეძებდით"
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
ამის დადებითი მხარე ისაა, რომ ეს მეთოდი მართლაც ეფექტურია. გუგლის ხელოვნური ინტელექტის სისტემების ხელმძღვანელმა მათ უწოდა: "მონაცემების ირაციონალური ეფექტურობა" უარყოფითი მხარე კი, რომ ჩვენ რეალურად არ ვიცით რა ისწავლა სისტემამ. პრინციპში, სწორედ ესაა მისი ძალა. ეს კომპიუტერისთვის ინსტრუქციების მიცემას არ ჰგავს. ეს უფრო ლეკვ-მანქანის წვრთნაა. ჩვენ რეალურად არ გვესმის და ვერ ვაკონტროლებთ. ჩვენი პრობლემაც ესაა. პრობლემაა, როცა ხელოვნურ ინტელექტს რაღაც არასწორად ესმის. ასევე პრობლემაა, როცა მას რაღაც სწორად ესმის, რადგან ჩვენ არც კი ვიცით რა, რა არის, როცა პრობლემა სუბიექტურია. ჩვენ არ ვიცით ეს მოწყობილობა რას ფიქრობს.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
განვიხილოთ კადრების ალგორითმი. სისტემა, რომელსაც თანამშრომლები მანქანური სწავლების გამოყენებით აჰყავს. ასეთი სისტემა, არსებული თანამშეომლების მონაცემებზეა გაწვრთნილი, რომ იპოვოს და შეარჩიოს არსებული მაღალი შედეგების მქონე თანამშრომლების მსგავსი ხალხი. მშვენივრად ჟღერს. ერთხელ კონფერენციას დავესწარი, რომელსაც კადრების მენეჯერები და აღმასრულებლები ესწრებოდნენ, მაღალი თანამდებობის ხალხი, რომლებიც მსგავს სისტემებს იყენებდნენ. ისინი აღტაცებულები იყვნენ, მათ წარმოედგინათ, რომ ეს თანამშრომლების აყვანის პროცესს უფრო ობიექტურს გახდიდა და ქალებს და უმცირესობებს, ადამიანი მენეჯერების ტენდენციურობასთან შედარებით მეტ შანსს მისცემდა.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
და მართლაც ადამიანების მიერ შერჩევა ტენდენციურია. ეს ვიცი. ერთ-ერთ ჩემ პირველ სამსახურში სადაც პროგრამისტი ვიყავი, ჩემი უფროსი ზოგჯერ მოვიდოდა ხოლმე, ძალიან ადრე დილას, ან გვიან შუადღეს და მეტყოდა: "ზეინეპ, მოდი, ლანჩზე წავიდეთ!" მე გაკვირვებული ვიყავი ხოლმე ასეთ დროს. 4 საათია, ლანჩი? საშუალება არ მქონდა, ამიტომ ამ უფასო ლანჩზე მივდიოდი. მოგვიანებით აღმოვაჩინე რაც ხდებოდა. ჩემ უშუალო უფროსს თავისი უფროსისთვის არ უთქვამს, რომ პროგრამისტი, რომელიც სერიოზული სამუშაოსთის აიყვანა თინეიჯერი გოგო იყო, რომელიც ჯინსებით და ბოტასებით დადიოდა სამსახურში. მე კარგად ვმუშაობდი, უბრალოდ არასათანადოდ გამოვიყურებოდი და შეუსაბამო ასაკის და სქესის ვიყავი.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
ასე რომ, სქესის და რასის გარეშე სამსახურში აყვანა ნამდვილად კარგად ჟღერს. თუმცა, ამ სისტემებით ეს უფრო რთულია და აი რატომ: დღესდღეობით გამოთვლით სისტემებს ბევრი რამის ამოცნობა შეუძლიათ თქვენ შესახებ, თქვენი ციფრული კვალის მიხედვით მაშინაც კი, თუ ეს მონაცემები არსად განგითავსებიათ. მათ შეუძლიათ ამოიცნონ თქვენი სექსუალური ორიენტაცია, პიროვნული თვისებები, პოლიტიკური გემოვნება. მათ მაღალი სიზუსტით პროგნოზირების უნარი აქვთ. გახსოვდეთ... ისეთი რამეების, რაც თქვენ არ გაგიმხელიათ. ეს ვარაუდით ხდება.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
მე მყავს მეგობარი, რომელმაც ასეთი გამოთვლითი სისტემა შექმნა. ეს სისტემა სოციალური ქსელების მონაცემების მიხედვით კლინიკური, ან პოსტნატალური დეპრესიის ალბათობას პროგნოზირებს. შედეგები შთამბეჭდავია. მის სისტემას დეპრესიის პროგნოზირება ნაბისმიერი სიმპტომების გაჩენამდე, თვეებით ადრე შეუძლია... თვეებით ადრე. პროგნოზი უსიმპტომებოდ. ის იმედოვნებს, რომ ამას ადრეული ინტერვენციისთვის გამოიყენებენ. მშვენიერია! ახლა ეს სამსახურში აყვანის კონტექსტში ჩავსვათ.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
მაშ, ამ კადრების მენეჯერების კონფერენციაზე, მე მივედი ერთი ძალიან დიდი კომპანიის მაღალი დონის მენეჯერთან და ვუთხარი: "იქნებ თქვენ არ იცით და სისტემა ისეთ ხალხს აგირჩევთ, რომელთაც დეპრესიის დიდი ალბათობა აქვთ მომავალში. ისინი ამჟამად არ არიან დეპრესიაში, მომავალში კი ალბათობა დიდია. ან იქნებ ისეთ ქალს აარჩევს, რომელიც დიდი შანსია შემდეგი ერთი ორი წლის განმავლობაში დაფეხმძიმდეს? ან იქნებ აგრესიული ხალხი აგირჩიოთ, რადგან ასეთია თქვენი სამუშაო გარემო?" თქვენ ამას სქესების მიხედვით ჩაშლით ვერ მიხვდებით. ისინი შეიძლება დაბალანსებული იყოს. რადგან ეს მანქანური სწავლებაა და არა ტრადიციული კოდირება, არ არსებობს ცვლადი სახელად: "დეპრესიის მომატებული რისკი" ან "დაფეხმძმების მომატებული რისკი" ან "აგრესიული მამაკაცის შკალა" არა მხოლოდ ის არ იცით, როს მიხედვით არჩევს სისტემა, არამედ ისიც კი არ იცით, საიდან დაიწყოთ ამის გარკვევა. შავი ყუთია. მას პროგნოზირების უნარი აქვს, მაგრამ თქვენ ის არ გესმით.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
"რა უსაფრთხოების საშუალებები გაქვთ" ვკითხე მე, "იმისთვის რომ დარწმუნდეთ, რომ თქვენი შავი ყუთი რამე საეჭვოს არ აკეთებს?" მან ისე შემომხედა, თითქოს 10 ლეკვს ერთად დავაბიჯე კუდზე.
(Laughter)
(სიცილი)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
შემომხედა და მითხრა: "ამაზე მეტის მოსმენას აღარ ვაპირებ" გატრიალდა და წავიდა. გაითვალისწინეთ, ის არ უხეშობდა. მისი პოზიცია იყო: რაც არ ვიცი, ჩემი პრობლემა არაა, მომშორდი, ცივი მზერით.
(Laughter)
(სიცილი)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
ესეთი სისტემა მართლაც შეიძლება იყოს ნაკლებად ტენდენციური, ვიდრე ადამიანი მენეჯერები გარკვეულწილად. და შეიძლება ეს ფინანსურადაც აზრიანი იყოს, მაგრამ ამან ასევე შეიძლება სამუშაო ბაზრიდან დეპრესიის მომატებული რისკის მქონე ხალხის მუდმივ და ფარულ განდევნას შეუწყოს ხელი. გვინდა კი, ასეთი საზოგადოების შენება, როცა არც კი ვიცით, რომ ამას ვაკეთებთ, რადგან გადაწყვეტულების მიღება, ისეთ მანქანებს მივანდეთ,
Another problem is this:
რომლებიც არც კი გვესმის.
these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
კიდევ ერთი პრობლემა ისაა, რომ ეს სისტემები ხშირად იწვრთნებიან მონაცემებზე, რომლებსაც ჩვენ ვქმნით. ადამიანის კვალზე. ისინი შეიძლება ჩვენს ტენდენციურობებს ასახავდეს და ეს სისტემებიც ჩეიძლება ჩვენს ტენდენციებს იზიარებდნენ, აძლიერებდნენ მათ და უკან გვიბრუნებდნენ. ჩვენ კი ამ დროს თავს ვიტყუებთ: "ჩვენ მხოლოდ ობიექტურ და ნეიტრალურ გამოთვლებს ვაწარმოებთ"
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
მკვლევარებმა დაადგინეს, რომ გუგლში ქალებმა უფრო პატარა შანსია მაღალანაზღაურებადი სამუშაოს რეკლამა ნახონ, ვიდრე კაცებმა. და აფრო-ამერიკული სახელების ძიებისას, უფრო დიდი შანსია კრიმინალური ხასიათის ამბავი ამოგიხტეთ მაშინაც კი როცა ის არ არსებობს. ასეთმა ფარულმა ტენდენციურობებმა და შავი ყუთის ალგორითმებმა, რომლებსაც მკვლევარები ზოგჯერ აღმოაჩენენ, ზოგჯერ კი არც ვიცით, შეიძლება დრამატულ შედეგებამდე მიგვიყვანოს.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
უისკონსინში ბრალდებულს 6 წელი მიუსაჯეს პოლიციისგან გაქცევის გამო. თქვენ შეიძლება არ იცით, მაგრამ განაჩენის გამოტანისას, ალგორითმები მზარდად გამოიყენება. მას უნდოდა გაეგო: როგორ გამოითვალეს? ეს კომერციული შავი ყუთია. კომპანიამ უარი განაცადა მათი ალგორითმი ღია სასამართლოზე განეხილათ, მაგრამ არასამთავრობო "ProPublica"-მ ეს ალგორითმი შეამოწმა, იმ გასაჯაროებული მონაცემებით რაც იპოვეს და აღმჩნდა, რომ შედეგები ტენდენციური იყო და პროგნოზირების უნარი საშინელი. შემთხვევითობაზე ოდნავ უკეთესი. ის შავკანიან ბრალდებულებს, მომავალ კრიმინალებად ორჯერ უფრო ხშირად აფასებდა ვიდრე თეთრკანიანებს.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
განვიხილოთ ასეთი შემთხვევა: ამ ქალს ბროუარდის ოლქში, ფლორიდაში სკოლიდან საკუთარი სულიერი დის წამოსაყვანად აგვიანდებოდა, როცა ქუჩაში მირბოდა მის მეგობართან ერთად, მათ საბავშვო ველოსიპედი და სკუტერი შენიშნეს და სისულელით შეხტნენ მათზე. იმ ადგილს რომ შორდებოდნენ, ქალი გამოვიდა და თქვა: "ეი! ეს ჩემი ბავშვის ველოსიპედია!" მათ დატოვეს ველოსიპედი და სკუტერი და წავიდნენ, მაგრამ ისინი მაინც დააკავეს.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
ის შეცდა, სულელურად მოიქცა, მაგრამ ის მხოლოდ 18 იყო. მას რამდენიმე ახალგაზრდული წვრილმანი დანაშაული ჰქონდა. ამ დროს, ეს კაცი მაღაზია "Home Depot "-ს გაქურდვისთვის დააკავეს 85 დოლარის ღირებულების საქონელი მოიპარა. საკმაოდ მსგავსი დანაშაული, მაგრამ ის ადრე 2 შეიარაღებული ყაჩაღობისთვისაც იყო გასამართლებული. თუმცა, ალგორითმა უფრო მაღალი რისკის მქონედ ქალი შეაფასა და არა ის. 2 წლის შემდეგ "ProPublica"-მ აღმოაჩინა რომ მას განმეორებითი დანაშაული არ ჩაუდენია. სამუშაოს შოვნა კი გაუძნელდა, ასეთი წარსულის გამო. თავის მხრივ, იმ კაცმა დანაშაული გაიმეორა და ამჟამად 8 წლიან სასჯელს იხდის ბოლო დანაშაულისთვის. ცხადია, ჩვენი შავი ყუთები უნდა შევამოწმოთ და არ უნდა მივცეთ მათ, ასეთი უკონტროლო ძალაუფლება.
(Applause)
(აპლოდისმენტები)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
შემოწმება და კონტროლი მნიშვნელოვანია, მაგრამ ეს ყველა პრობლემას არ აგვარებს. ავიღოთ ფეისბუკის სიახლეების მძლავრი ალგორითმი. აი ის, ყველაფერს რომ ახარისხებს და წყვეტს რა უნდა გაჩვენოთ, ყველა მეგობრიდან და გვერდიდან, რომელის გამომწერიც ხართ. უნდა გაჩვენოთ თუ არა, კიდევ ერთი ბავშვის სურათი?
(Laughter)
(სიცილი)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
ნაცნობის სევდიანი წერილი? მნიშვნელოვანი, მაგრამ მძიმე სიახლე? არ არსებობს სწორი პასუხი. ფეისბუკი თქვენი ქმედებების ოპტიმიზაციას აკეთებს მოწონებები, გაზიარებები, კომენტარები.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
2014 წლის აგვისტოში ფერგიუსონში, მისური, თეთრკანიანი პოლიციელის მიერ ბუნდოვან ვითარებაში აფრო-ამერიკელი თინეიჯერის მკვლელობას, პროტესტის ტალღა მოჰყვა. პროტესტის ამბები ჩემ ალგორითმულად დაუფილტრავ ტვიტერზე ყველგან იყო, მაგრამ ფეისბუკზე არსად ჩანდა. შეიძლება ჩემი ფეისბუკ მეგობრების გამო იყო ასე? გავთიშე ფეისბუკის ალგორითმი, რაც რთულია, რადგან ფეისბუკი მუდმივად ცდილობს ალგორითმის კონტროლის ქვეშ მოგაქციოთ. გათიშვის შემდეგ, ვნახე რომ მეგობრები საუბრობენ ამაზე. უბრალოდ ალგორითმი არ მაჩვენებდა ამას. გამოვიკვლიე და აღმოვაჩინე, რომ ეს გავრცელებული პრობლემაა.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
ფერგიუსონის თემა, ალგორითმისთვის არ იყო პრიორიტეტული. არ იყო "მოწონებადი" ვინ დააჭერდა "მოწონებას"? მასზე კომენტარიც კი რთულია. მოწონებებისა და კომენტარების გარეშე, ალგორითმი უფრო ცოტა ადამიანს აჩვენებს მას, ამიტომაც ვერ ვნახულობდით მას. სამაგიეროდ, იმ კვირას, ფეისბუკის ალგორითმმა ეს გამოკვეთა: "ყინულიანი სათლის გამოწვევის" კამპანია. ღირებული რამაა; ვისხამთ ყინულიან წყალს და ვრიცხავთ შემოწირულობას. მშვენიერია. ის ალგორითმისთვის ძალიან პრიორიტეტული იყო. მანქანამ ეს გადაწყვეტილება ჩვენ მაგივრად მიიღო. რთული, მაგრამ ძალიან მნიშვნელოვანი დისკუსია, შეიძლება არ შემდგარიყო, ფეისბუკი ერთადერთი საშუალება რომ ყოფილიყო.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
და ბოლოს, ეს სისტემები შეიძლება ადამიანებისთვის არადამახასიათებლად ცდებოდნენ. გახსოვთ უოტსონი, IBM-ის მანქანური ინტელექტის სისტემა, რომელმაც ვიქტორინა "Jeopardy"-ში მონაწილე ადამიანი გაანადგურა? ის დიდებული მოთამაშე იყო. თუმცა, ფინალში უოტსონს ჰკითხეს: "მისი უდიდესი აეროპორტი მეორე მსოფლიო ომის გმირის სახელობისაა, მისი სიდიდით მეორე აეროპორტი მეორე მსოფლიო ომის ბრძოლის სახელობის."
(Hums Final Jeopardy music)
(Jeopardy-ს საფინალო მუსიკა)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
ჩიკაგო. ორმა ადამიანმა სწორად უპასუხა. უოტსონმა უპასუხა: "ტორონტო"... აშშ-ს ქალაქების კატეგორიაში. შთამბეჭდავმა სისტემამ ისეთი შეცდომა დაუშვა, რომელსაც ადამიანი არასდროს დაუშვებდა. მეორე კლასელი არ დაუშვებდა.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
მანქანურმა ინტელექტმა შეიძლება ისეთი შეცდომები დაუშვას, რომლებიც ადამიანური შეცდომების ხასიათში არ ჯდება. და რომლებსაც შეიძლება არ ველოდოთ და მოუმზადებლები აღმოვჩნდეთ. სამწუხაროა, როცა სამუშაოზე შესაბამისი კადრი ვერ აღმოჩნდება, მაგრამ ბევრად უარესია, თუ ეს რომელიღაც ქვეპროგრამაში, სტეკის გადავსების გამო მოხდა.
(Laughter)
(სიცილი)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
2010 წლის მაისში, "უოლ სტრიტის" საფონდო ბირჟის ვარდნამ, რომელიც "უოლ სტრიტის" "გაყიდვის" ალგორითმის, უკუკავშირის ციკლით იყო გამოწევეული, ტრილიონი დოლარის ღირებულების დაკარგვა გამოიწვია 36 წუთში. წარმოსადგენადაც კი რთულია რას შეიძლება ნიშნავდეს "შეცდომა" ავტომატური ლეტალური იარაღის შემთხვევაში.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
ასე რომ, დიახ ადამიანები ყოველთვის ტენდენციურები არიან. გადაწყვეტილების მიმღებები და დარაჯები, სასამართლოებში, ახალ ამბებში, ომში... ისინი შეცდომებს უშვებენ, მაგრამ სწორედ ამაშია საქმე. ჩვენ გვერდს ვერ ავუვლით ამ რთულ კითხვებს. ჩვენ ვერ გადავაბარებთ ჩვენს ვალდებულებებს მანქანებს.
(Applause)
(აპლოდისმენტები)
Artificial intelligence does not give us a "Get out of ethics free" card.
ხელოვნური ინტელექტი ვერ მოგცვემს ეთიკური პრობლემების თავიდან აცილების საშუალებას.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
მონაცემების სპეციალისტი ფრედ ბენენსონი ამას მათემატიკურ-წმენდას ეძახის. ჩვენ ამის საპირისპირო გვჭირდება. ჩვენ ალგორითმის მიმართ ეჭვის, შესწავლის და კვლევის წახალისება გვჭირდება. უნდა დავრწმუნდეთ ჩვენ ალგორითმულ ანგარიშვალდებულებაში, შემოწმებასა და გამჭვირვალობაში. ჩვენ უნდა გვესმოდეს, რომ მათემატიკის და გამოთვლის შემოტანას, უწესრიგო, ღირებულებებით სავსე ადამიანურ ურთიერთობებში არ მოაქვს ობიექტურობა, არამედ ადამიანური ურთიერთობების სირთულე იჭრება ალგორითმებში. დიახ, ჩვენ შეგვიძლია და უნდა გამოვიყენოთ გამოთვლა, უკეთესი გადაწყვეტულებების მისაღებად, მაგრამ ასევე მორალური პასუხისმგებლობა უნდა ავიღოთ გადაწყვეტილებებზე და ამ სქემაში გამოვიყენოთ ალგორითმები და არა ერთმანეთზე, როგორც ადამიანიდან ადამიანზე პასუხისმგებლობების გადაბარების საშუალებად.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
მანქანური ინტელექტი აწმყოა. ეს ნიშნავს, რომ ჩვენ კიდევ უფრო მეტად უნდა ჩავეჭიდოთ ადამიანურ ფასეულობებსა და ადამიანურ ეთიკას
Thank you.
მადლობა.
(Applause)
(აპლოდისმენტები)