Desculpe, mas o sistema não permite

Automatização de processos nos ajuda a delegar às máquinas o trabalho repetitivo, mas não nos salva do dilema ético de classificar e decidir

Allison Sellaro
sellaro@sellaro.co

Os sistemas democráticos pelo mundo têm algumas características comuns. É preciso que as regras do jogo sejam bem definidas e que haja liberdade. Será que sabemos exatamente a que regras estamos sujeitos e até onde vai a nossa capacidade de tomar livremente uma decisão?

Até a década de 1980, computadores eram artigos exclusivos de governos, universidades e grandes empresas. Nesta época, processar informações era algo caro e não havia dados suficientes para muitos problemas que gostaríamos de resolver. Decisões, banais ou importantes, envolviam um ser humano que levava em conta fatores objetivos e outros aspectos mais subjetivos. Os “bons relacionamentos” e as “referências” faziam parte do mix que iriam definir, por exemplo, se alguém abriria uma conta num banco ou seria selecionado para um emprego. Com o tempo, fomos melhorando nossa capacidade de produzir tecnologias mais eficientes e mais baratas. E, à medida que os preços iam caindo, os computadores se espalharam por empresas menores e residências. Melhoramos nossa capacidade de processar informações, coletar e armazenar dados relativos à questões mais cotidianas.

Neste admirável mundo novo, automatizar processos foi ficando mais fácil. A relação entre o preço da mão de obra e da tecnologia foi gradativamente se invertendo. Em pouco tempo, passou a não fazer mais sentido econômico realizar trabalhos repetitivos de forma manual. Era preferível delegar a maior parte possível aos computadores: as máquinas executavam as tarefas com menos erros, em menos tempo e com um menor custo. Entramos num ciclo de crescimento da automação. Com as redes locais de computadores e, posteriormente, com a Internet, passamos a conviver com sistemas por todos os lados. Muitos daqueles processos de decisão, que antes exigiam o discernimento de pessoas, foram gradativamente assimilados nesta onda. Continuávamos nossa evolução e íamos nos tornando mais ágeis, mais sofisticados e um pouco menos humanos.

Nesta mesma época, a velha e surrada burocracia ganhava um aliado de peso. Alguns procedimentos que antes emperravam por pouca flexibilidade humana, agora passaram a ter seus atrasos justificados por outros motivos: o sistema. Quem nunca ouviu a frase, tão irritante, “desculpe, mas o sistema não permite”? De sistema em sistema, foi-se criando O Sistema. A ferramenta passou a ganhar ares de entidade. Navegávamos por águas mais turbulentas e perigosas.

É certo que as demandas do nosso dia a dia não nos deixam muito espaço para refletir sobre as reais implicações destas “proibições”. À medida que criamos caixas-pretas que respondem perguntas importantes sobre nossas vidas, acabamos por ignorar ou adiar discussões importantes. Vamos gradativamente deixando de falar sobre quem somos e quem queremos ser de um ponto de vista social. Os muitos sistemas que encontramos pelos caminhos vão decidindo detalhes da nossa vida e vamos aos poucos nos tornando insensíveis a estes elementos invisíveis. Enquanto as decisões são simples e baseadas em critérios claros, como autorizar um saque considerando o nosso limite disponível, tudo bem. Mas quando as decisões são mais complexas e não é tão claro como elas são processadas, começam a surgir outras implicações.

Considere, por exemplo, o problema de determinar quem são as pessoas que irão receber uma dose da vacina contra a Covid-19. Governos sérios em todo o mundo correm para coletar informações sobre seus cidadãos de modo a tentar vacinar mais gente de forma mais rápida. Nome, idade, profissão, endereço, pré-existência de fatores de risco, e outras informações são armazenadas em grandes bancos de dados. Sistemas desenvolvidos especificamente para resolver este problema analisam esses dados e produzem como resultado a lista das pessoas que estão elegíveis a receber a vacina. Pondo de uma outra forma: sistemas decidem quem terá acesso mais rápido (ou mais lento, ou quem não terá acesso de forma alguma) a um recurso de saúde pública que, durante uma pandemia dessas proporções, pode, literalmente, significar a diferença entre a vida ou a morte.

Existem questões éticas e sociais muito relevantes neste processo decisório. Poucas pessoas se atentam a esta questão. E menos pessoas ainda são capazes de descrever, precisamente, como estes sistemas foram programados para tomar estas decisões. Classificamos as pessoas por idade apenas? A pré-existência de fatores de risco é determinante para alterar a ordem de vacinação? Se sim, como? E se o sistema considerar, proposital ou acidentalmente, o endereço da pessoa a ser vacinada de modo a priorizar quem mora no bairro A ao invés do bairro B?

Um artigo recente publicado no The New York Times dá conta de que as taxas de vacinação entre as comunidades negras e de latinos em Nova York eram menores que as taxas observadas em comunidades majoritariamente brancas. Uma evidência de que o acesso à vacina talvez não esteja ocorrendo de modo a minimizar o risco de contágio, dado que justamente as populações negras e latinas desta região são mais afetadas por casos de Covid-19.

É provável que esta diferença na taxa de vacinação se dê também por outros fatores, mas qual a contribuição dos algoritmos de decisão (sistemas) para este desequilíbrio?

Este é um dos muitos problemas de ordem ética e social que estão intimamente relacionados à tecnologia. É importante deixar claro que não se deve atribuir todos os males do mundo aos sistemas – ou ao Sistema. Automatizar processos é algo necessário para resolver problemas, tão antigos como importantes, de como aproveitar melhor recursos e, em última instância, melhorar a qualidade de vida das pessoas. Evoluir neste aspecto é, portanto, necessário. Mas é igualmente fundamental considerar seus efeitos colaterais. Não é prudente delegar apenas a uma casta de especialistas a compreensão sobre os detalhes das caixas-pretas decisórias. Mesmo porque, quanto mais estudamos ciências de dados e inteligência artificial, menos e menos pessoas são capazes de determinar, exatamente, o resultado de alguns destes processos decisórios automáticos. Transparência deve ser um aspecto a ser considerado também neste contexto. Mas isso já é assunto para outra coluna.

Alisson Sellaro é gestor de tecnologia e cientista de dados.