You and your partner Alex have been in a strong, loving relationship for years, and lately you're considering getting engaged. Alex is enthusiastic about the idea, but you can’t get over the statistics. You know a lot of marriages end in divorce, often not amicably. And over 10% of couples in their first marriage get divorced within the first five years. If your marriage wouldn’t even last five years, you feel like tying the knot would be a mistake. But you live in the near future, where a brand-new company just released an AI-based model that can predict your likelihood of divorce. The model is trained on data sets containing individuals’ social media activity, online search histories, spending habits, and history of marriage and divorce. And using this information, the AI can predict if a couple will divorce within the first five years of marriage with 95% accuracy. The only catch is the model doesn’t offer any reasons for its results— it simply predicts that you will or won’t divorce without saying why. So, should you decide whether or not to get married based on this AI’s prediction?
Tu e o teu parceiro Alex têm uma relação forte e amorosa há anos e ultimamente estão a pensar em ficar noivos. O Alex está entusiasmado com a ideia, mas tu não podes ignorar as estatísticas. Tu sabes que muitos casamentos terminam em divórcio, muitas vezes pouco amigavelmente. Mais de 10% dos casais, no primeiro casamento, divorciam-se nos primeiros cinco anos. Se o vosso casamento não durasse nem cinco anos, tu sentirias que seria um erro dar o nó. Mas tu vives no futuro próximo, em que uma nova empresa acaba de lançar um modelo baseado na IA que pode prever a vossa probabilidade de divórcio. O modelo é treinado em conjuntos de dados que contêm a atividade dos indivíduos nas redes sociais, os históricos de pesquisas <i>online</i> os hábitos de consumo e a história de casamentos e divórcios. Usando estas informações, a IA pode prever se um casal se vai divorciar nos primeiros cinco anos de casamento, com 95% de precisão. O único problema é que o modelo não oferece nenhuma justificação para os seus resultados, apenas prevê que acabarás ou não em divórcio, sem dizer porquê. Assim, deverás decidir se vais ou não casar com base nesta previsão da IA?
Suppose the model predicts you and Alex would divorce within five years of getting married. At this point, you'd have three options. You could get married anyway and hope the prediction is wrong. You could break up now, though there’s no way to know if ending your currently happy relationship would cause more harm than letting the prediction run its course. Or, you could stay together and remain unmarried, on the off-chance marriage itself would be the problem. Though without understanding the reasons for your predicted divorce, you’d never know if those mystery issues would still emerge to ruin your relationship.
Supõe que o modelo prevê que tu e o Alex se divorciariam cinco anos depois de se casarem. Nessa altura, terás três opções. Podes casar na mesma e esperar que a previsão esteja errada. Podes acabar agora, embora não haja maneira de saber se acabar com a tua relação, atualmente feliz, causará mais mal do que deixar a previsão seguir o seu curso. Ou podem ficar juntos e permanecer solteiros, se o problema é o próprio casamento. Apesar de não compreenderes as razões para o vosso divórcio previsto, nunca saberias se essas questões misteriosas surgiriam para arruinar a vossa relação.
The uncertainty undermining all these options stems from a well known issue with AI around explainability and transparency. This problem plagues tons of potentially useful predictive models, such as those that could be used to predict which bank customers are most likely to repay a loan, or which prisoners are most likely to reoffend if granted parole. Without knowing why AI systems reach their decisions, many worry we can’t think critically about how to follow their advice.
A incerteza que mina todas estas opções decorre de um problema bem conhecido com a IA em volta da explicabilidade e da transparência. Este problema afeta toneladas de modelos preditivos potencialmente úteis, como os que poderiam ser usados para prever quais os clientes dos bancos com maior probabilidade de reembolsar um empréstimo, ou os prisioneiros com maior probabilidade de reincidir, se em liberdade condicional. Sem saber como é que a IA chega à sua decisão muitos temem que não possamos pensar criticamente sobre como seguir essas opiniões.
But the transparency problem doesn’t just prevent us from understanding these models, it also impacts the user’s accountability. For example, if the AI's prediction led you to break up with Alex, what explanation could you reasonably offer them? That you want to end your happy relationship because some mysterious machine predicted its demise? That hardly seems fair to Alex. We don’t always owe people an explanation for our actions, but when we do, AI’s lack of transparency can create ethically challenging situations. And accountability is just one of the tradeoffs we make by outsourcing important decisions to AI. If you’re comfortable deferring your agency to an AI model it’s likely because you’re focused on the accuracy of the prediction. In this mindset, it doesn’t really matter why you and Alex might break up— simply that you likely will. But if you prioritize authenticity over accuracy, then you'll need to understand and appreciate the reasons for your future divorce before ending things today. Authentic decision making like this is essential for maintaining accountability, and it might be your best chance to prove the prediction wrong. On the other hand, it’s also possible the model already accounted for your attempts to defy it, and you’re just setting yourself up for failure.
Mas o problema da transparência não nos impede apenas de compreender estes modelos, também exerce impacto na responsabilidade do utilizador. Por exemplo, se a previsão da IA te levasse a romper com o Alex, que explicação é que podias razoavelmente dar-lhe? Que queres acabar com a vossa relação feliz porque uma certa máquina misteriosa previu o fim dela? Isso dificilmente parecerá justo ao Alex. Nem sempre devemos às pessoas uma explicação para as nossas ações, mas quando o fazemos, a falta de transparência da IA pode criar situações eticamente problemáticas. E a responsabilização é apenas um dos compromissos que tomamos ao confiarmos decisões importantes à IA. Se te sentires bem em entregar a tua capacidade de decisão a um modelo de IA, provavelmente é porque estás preocupado com a precisão da previsão. Neste quadro mental, não interessa muito porque é que tu e o Alex possam acabar, mas simplesmente que, provavelmente, o farão. Mas se deres prioridade à autenticidade em detrimento da precisão, terás de compreender e apreciar as razões do vosso futuro divórcio antes de acabar com as coisas já hoje. Uma tomada de decisão autêntica como esta é essencial para manter a responsabilidade e pode ser a tua melhor hipótese de provar que a previsão está errada. Por outro lado, também é possível que o modelo já tenha considerado as tuas tentativas de desafiá-lo, e estás a preparar-te a ti mesma para o fracasso.
95% accuracy is high, but it’s not perfect— that figure means 1 in 20 couples will receive a false prediction. And as more people use this service, the likelihood increases that someone who was predicted to divorce will do so just because the AI predicted they would. If that happens to enough newlyweds, the AI's success rate could be artificially maintained or even increased by these self-fulfilling predictions. Of course, no matter what the AI might tell you, whether you even ask for its prediction is still up to you.
95% de precisão é muito bom, mas não é a perfeição. Este número significa que 1 em cada 20 casais receberá uma previsão falsa. E à medida que mais pessoas usam este serviço, aumenta a probabilidade de que alguém que estava previsto divorciar-se o faça apenas porque a IA previu que o faria. Se isso acontecer a um número suficiente de recém-casados, a taxa de êxito da IA poderá manter-se artificialmente ou mesmo aumentar com estas previsões autorrealizáveis. Claro, não interessa o que a IA possa dizer-te, se vais pedir essa previsão continua a ser da tua responsabilidade.