Explicação em Inteligência Artificial. Um sistema de IA precisa explicar suas decisões? Em quais situações e em quais cenários?
Esse é um tema quente, principalmente com as discussões globais que acontecem para evitar que o futuro não seja um episódio de Black Mirror. Então aqui vão alguns insights.
Ainda não há um consenso entre cientistas e pesquisadores sobre quais são os critérios mínimos de explicabilidade que a máquina deve oferecer para diferentes usuários. Há quem argumente que a decisão deva ser totalmente explicada; mas há quem ache isso desnecessário.
Nigam Shah professor de Stanford HAI argumenta que a IA não precisa ser explicada para ser útil e defendeu seu ponto fazendo uma analogia com a medicina: “Dos 4.900 medicamentos prescritos de forma rotineira, não sabemos totalmente como a maioria deles realmente funciona, mas ainda os usamos porque nos convencemos, por meio de estudo clínicos randomizados, de que são benéficos”.
O argumento é interessante para alguns casos, não para todos. Pode ser válido quando a IA auxilia a decisão, como na situação em que o médico dá a palavra final, mas há outras situações em que a máquina deve oferecer uma explicação, como no caso de alguém ter o crédito negado ou não ser aprovado na universidade. E quais são os critérios mínimos? As máquinas devem ser capazes de explicar para os desenvolvedores ou os usuários finais?
Prof. Shah apresenta três tipos de interpretabilidade em IA. A dos engenheiros (Como? How?); a causal (Por que? Why?); e a de confiança (Trust). O ideal seria buscar uma explicação na interseção entre as três, mas isso é difícil (e um grande desafio técnico).
Um estudo publicado recentemente na Nature mostra o tamanho do buraco. Uma explicação sobre o COMO pode não induzir CONFIANÇA no sistema. Foi o que aconteceu com um sistema de IA de saúde que associou visitas de um padre ao risco de morte imediata. Ou seja, explicou COMO, mas não POR QUE. A explicação foi inútil para os médicos que queriam saber outra coisa. Aqui entra a importância do Design para ajudar a entender quais são as necessidades dos diferentes atores envolvidos em um projeto e a expectativa de cada um.
Por fim, a confiança também pode parecer ser um PARADOXO em IA. Oferecer muitas explicações leva as pessoas a confiarem em um sistemas que está ERRADO. Um estudo da Microsoft mostrou isso. No experimento, usaram dois modelos: um explicável e outro não. E o que aconteceu?
Pessoas avaliaram bem decisões que eram GROTESCAS do sistema explicável, mas eram reticentes quando o resultado era do modelo não explicável. Mais explicação pode levar a uma confiança infundada? Tudo isso precisa de mais pesquisa e discussão.
Se você chegou ao fim deste post sobre explicação em Inteligência Artificial., saiba que ainda não existe respostas para este assunto. Acho, na verdade, que nem as perguntas estão prontas. Vamos discutindo. Este post foi inspirado nesta discussão do HAI Stanford, mas deixo a recomendação de um artigo super bom sobre o tema: Explanation in Artificial Intelligence: Insights from the Social Science.
E para quem quiser se aprofundar em IA, indico o meu curso aberto e gratuito de Inteligência Artificial para Todos.
