Segundo o último relatório das Nações Unidas sobre a guerra civil na Líbia, o ano que termina viu pela primeira vez um sistema de armas autônomo, um robô assassino, matando alguém. No futuro, podemos lembrá-lo como o ponto de partida de uma nova corrida armamentista que pode nos prejudicar muito.
Nos últimos dias (de 13 a 17 de dezembro) La Convenção da ONU sobre Certas Armas Convencionais reunidos sobre o assunto, como acontece a cada cinco anos. Desde 1983, esta assembleia optou por limitar algumas armas cruéis, como as minas antipessoal. Desta vez, ele discutiu uma possível proibição dessas armas autônomas. E não chegou a um consenso para limitá-los.
Pode ter sido um erro catastrófico.
Sistemas de armas autônomos são robôs assassinos. Ao longo deste post, você sempre me ouvirá chamá-los assim: robôs assassinos. Porque isso é o que eu sou. Sistemas com armas que podem funcionar sozinhos. Sistemas feitos para a guerra, para matar pessoas. Os governos mundiais estão investindo pesadamente nessa tendência.
Por outro lado, é claro, organizações humanitárias (uma delas, Stop The Killer Robots, que você encontra aqui) são gastos pedindo regras e proibições sobre o desenvolvimento dessas armas. E eles fazem bem. Se não limitarmos o uso de armas autônomas, isso terminará muito mal. Tecnologias disruptivas nesse campo podem desestabilizar todas as estratégias militares, aumentando o risco de ataques preventivos. Incluindo os químicos, biológicos e nucleares.
Dado o ritmo de desenvolvimento de robôs assassinos, a reunião da ONU que acabou de terminar pode ter sido uma das últimas ocasiões para evitar uma nova corrida armamentista. Ou o último.
Existem quatro perigos que parecem óbvios para qualquer pessoa quando se trata de sistemas robóticos assassinos.
Primeiro problema de robôs assassinos: identificação.
As armas autônomas SEMPRE serão capazes de distinguir entre um soldado hostil e uma criança com uma arma de brinquedo? A diferença entre um único erro humano (que também é possível) e a configuração errada do algoritmo pode levar o problema a uma escala incrível. Um especialista autônomo em armas chamado Paulo Scharre usa uma metáfora: a de uma metralhadora defeituosa que continua a disparar mesmo quando você tira o dedo do gatilho. E atire até a munição acabar, porque é só uma máquina. Ele não sabe que está cometendo um erro.
O que quer que as pessoas digam, a inteligência artificial ainda não está equipada com sua própria moralidade (e provavelmente nunca terá, nunca será capaz de aprender).
O problema não é só isso até mesmo uma IA está errada, por exemplo, quando reconhece a asma como fator o que reduz o risco de pneumonia, ou quando identifica pessoas de cor como gorila. É que quando está errado, quem o criou não sabe porque está errado, e não sabe como corrigi-lo. É por isso que acredito ser impossível que robôs assassinos possam se desenvolver com um critério "moral" de qualquer tipo.
Segundo problema com robôs assassinos: proliferação de baixo custo.
As forças armadas que estão desenvolvendo armas autônomas supõem que serão capazes de contê-las e controlá-las. Você já ouviu uma ideia mais idiota do que essa? Se há uma coisa que a história da tecnologia de armas nos ensina, apenas uma coisa, é que as armas se espalham. Também neste caso era muito previsível.
O que aconteceu no passado com o Kalashinkov, um fuzil de assalto que se tornou tão acessível que acaba nas mãos de qualquer um, pode ser repetido para robôs assassinos. As pressões do mercado podem levar à criação de armas autônomas que são eficazes, baratas e praticamente impossíveis de deter. Acima de tudo: generalizado. Nas mãos de governos, cavalos loucos, crime organizado ou grupos terroristas.
Pode já ter acontecido. O Kargu-2, feito por um empreiteiro de defesa turco, é um cruzamento entre um drone e uma bomba. Possui inteligência artificial para encontrar e rastrear alvos. Ele é um robô assassino e já atuou de forma autônoma no teatro da guerra civil líbia para atacar pessoas.
Terceiro problema dos robôs assassinos: proliferação de alta tecnologia.
Se pensarmos então em riscos "high-end", chegamos ao Zenit. As nações poderiam competir para desenvolver versões cada vez mais devastadoras de armas autônomas, incluindo aquelas capazes de montar armas químicas, biológicas, radiológicas e nucleares . Os perigos morais da letalidade crescente das armas seriam ampliados pelo uso crescente de armas.
Claro, esses robôs assassinos provavelmente virão com robôs caros controladores éticos projetado para minimizar os danos colaterais, perseguindo o mito do ataque "cirúrgico". Uma coisa boa apenas para a opinião pública, em suma. A verdade é que as armas autônomas alterarão até mesmo a análise de custo-benefício mais mundana que se faz antes de planejar uma guerra. Serão dados de risco mortal, a serem rolados com menos preocupação.
As guerras assimétricas travadas no terreno por nações sem tecnologias concorrentes se tornarão mais comuns. Uma instabilidade amplamente disseminada.
Quarto e último problema: as leis da guerra
Robôs assassinos (se proliferarem com certeza) vão minar o último paliativo da humanidade contra crimes de guerra e atrocidades: as leis internacionais de guerra. Essas leis, codificadas em tratados que começam desde o primeiro Convenção de Genebra, eles são a linha tênue que separa a guerra de algo ainda pior que eu dificilmente posso imaginar.
As leis da guerra são fundamentais, porque também impõem responsabilidade a quem está lutando uma guerra. Slobodan Milosevic era o presidente de um país e tinha que responder por seus atos. Ele foi julgado no Tribunal Penal Internacional das Nações Unidas para a ex-Iugoslávia e ele tinha que responder pelo que fez.
E agora? É culpa de um robô assassino cometer crimes de guerra? Quem é tentado? A arma? O soldado? Os comandantes do soldado? A empresa que fez a arma? ONGs e especialistas em direito internacional temem que armas autônomas levem a um grave lacuna de responsabilidade .
Um soldado deve provar ter cometido um crime usando uma arma autônoma. Para isso, será necessário provar que o soldado cometeu um ato culposo e também teve a intenção específica de fazê-lo. Uma dinâmica bastante complicada, em um mundo de robôs assassinos.
Um mundo de robôs assassinos é um mundo sem regras que eles impõem controle humano significativo em armas. É um mundo onde crimes de guerra serão cometidos sem criminosos de guerra a serem responsabilizados. A estrutura das leis da guerra, junto com seu valor dissuasor, ficará consideravelmente enfraquecida.
Uma nova corrida armamentista global
Imagine que todos podem usar toda a força que quiserem, quando quiserem. Com menos consequências para qualquer pessoa. Imagine um planeta onde militares nacionais e internacionais, grupos insurgentes e terroristas possam desdobrar uma força letal teoricamente ilimitada com risco teoricamente zero em momentos e locais de sua escolha, sem nenhuma responsabilidade legal resultante.
