Pages Menu
TwitterRssFacebook
Categories Menu

Os 23 Princípios de Asilomar

por em 14/05/2018 em Ciência, Tecnologia | Nenhum comentário

Os 23 Princípios de Asilomar

Em 2017 um grande conjunto de renomados cientistas, no que diz respeito à Inteligência Artificial (IA), à Biotecnologia e às Tecnologias Nucleares, e investigadores descreveram 23 Princípios que visam assegurar que o progresso e o impacto que o desenvolvimento da IA poderá ter na nossa História seja benéfico.

O The Future of Life Institute (FLI) foi criado em 2015  e sua missão é descrita como

“Catalisar e apoiar pesquisas e iniciativas para salvaguardar a vida e desenvolver visões otimistas do futuro, incluindo maneiras positivas para a humanidade seguir seu próprio caminho, considerando novas tecnologias e desafios”.

Entre seus membros contamos nomes como Stephen Hawking, Morgan Freeman, Elon Musk e Stuart J. Russell.

Esses 23 Princípios descrevem diretrizes que os pesquisadores devem respeitar para garantir o uso seguro, ético e benéfico da IA.

“A inteligência artificial já forneceu ferramentas benéficas que são usadas todos os dias por pessoas ao redor do mundo. Seu desenvolvimento contínuo, guiado pelos seguintes princípios, oferecerá oportunidades incríveis para ajudar e fortalecer as pessoas nas próximas décadas e séculos.”

As diretrizes são descritas a seguir:

Questões sobre a pesquisa

1) Objetivo da Pesquisa: O objetivo da pesquisa em IA não deve ser criar inteligência não direcionada, mas inteligência benéfica.

2) Financiamento da Pesquisa: Investimentos em IA devem ser acompanhados de financiamentos em pesquisa para assegurar seu uso benéfico, incluindo pesquisas espinhosas em Ciência da Computação, Economia, Leis, Ética, e Estudos Sociais, tais como:

  • Como podemos tornar futuros sistemas com IA altamente robustos, para que eles façam o que queremos sem mal funcionamento ou serem hackeados?
  • Como podemos aumentar nossa prosperidade por meio da automação, mantendo os recursos e a finalidade das pessoas?
  • Como podemos atualizar nossos sistemas jurídicos para sermos mais justos e eficientes, para manter o ritmo da IA e para gerenciar os riscos associados à IA?
  • Com que conjunto de valores a IA deve estar alinhada, e que posicionamento legal e ético ela deve ter?

3) Link entre Ciência e Política: Deve haver um intercâmbio construtivo e saudável entre pesquisadores de IA e formuladores de políticas.

4) Cultura de pesquisa: Uma cultura de cooperação, confiança e transparência deve ser fomentada entre pesquisadores e desenvolvedores de IA.

5) Prevenção de Corrida: Equipes que desenvolvem sistemas de inteligência artificial devem cooperar ativamente para evitar cortes nas normas de segurança.

Éticas e Valores

6) Segurança: Os sistemas com IA devem ser seguros e protegidos durante toda a sua vida útil operacional, e verificáveis, quando aplicável e viável.

7) Transparência de falha: Se um sistema com IA causar dano, deve ser possível determinar o motivo.

8) Transparência Judicial: Qualquer envolvimento de um sistema autônomo na tomada de decisões judiciais deve fornecer uma explicação satisfatória passível de auditoria por uma autoridade humana competente.

9) Responsabilidade: Designers e construtores de sistemas avançados com IA são partes interessadas nas implicações morais de seu uso, abuso e ações, com responsabilidade e oportunidade de moldar essas implicações.

10) Alinhamento de valor: Sistemas com IA altamente autônomos devem ser projetados de modo que seja assegurado que seus objetivos e comportamentos serão alinhados com os valores humanos durante toda a operação.

11) Valores Humanos: Os sistemas com IA devem ser projetados e operados de modo a serem compatíveis com os ideais da dignidade humana, direitos, liberdades e diversidade cultural.

12) Privacidade Pessoal: As pessoas devem ter o direito de acessar, gerenciar e controlar os dados que geram, dado o poder dos sistemas com AI de analisar e utilizar esses dados.

13) Liberdade e Privacidade: A aplicação de IA aos dados pessoais não deve restringir de forma injustificável a liberdade real ou percebida das pessoas.

14) Benefício compartilhado: Tecnologias com IA devem beneficiar e capacitar o maior número de pessoas possível.

15) Prosperidade compartilhada: A prosperidade econômica criada pela IA deve ser compartilhada amplamente, para beneficiar toda a humanidade.

16) Controle Humano: Os seres humanos devem escolher como e se devem delegar decisões aos sistemas com IA, para realizar os objetivos escolhidos pelo homem.

17) Não-subversão: O poder conferido pelo controle de sistemas com IA altamente avançada deve respeitar e melhorar, ao invés de subverter, os processos sociais e cívicos dos quais depende a saúde da sociedade.

18) Corrida Armada com IA: Deve ser evitada uma corrida armamentista com armas autônomas letais.

Questões de Longo Prazo

19) Atenção na Capacidade: Não havendo consenso, devemos evitar fortes suposições sobre os limites superiores em futuras capacidades de IA.

20) Importância: IA avançada poderia representar uma mudança profunda na história da vida na Terra, e deveria ser planejada e administrada com cuidado e recursos proporcionais.

21) Riscos: Os riscos colocados pelos sistemas com IA, especialmente os riscos catastróficos ou existenciais, devem estar sujeitos a esforços de planejamento e mitigação proporcionais ao impacto esperado.

22) Auto Aprimoramento Recursivo: Sistemas com IA projetados para melhorar ou autorreplicar-se recursivamente de uma maneira que poderia levar a um aumento rápido da qualidade ou quantidade, devem estar sujeitos a rígidas medidas de segurança e controle.

23) Bem comum: A superinteligência só deve ser desenvolvida a serviço de ideais éticos amplamente compartilhados, e para o benefício de toda a humanidade e não de um estado ou organização.

Esses Princípios foram assinados por 1273 pesquisadores das áreas de IA e Robótica e 2541 de outras áreas.

Alguns comentários e questionamentos podem ser tecidos sobre esses princípios.

Sobre o princípio número 1, o objetivo da pesquisa não deve ser criar inteligência não direcionada, mas inteligência benéfica. Primeiramente, não é definido o que é Inteligência. A partir de que momento podemos dizer que um sistema é inteligente? Um programa que simula enxames de insetos para solucionar um problema específico, pode ser chamado de inteligente? Ou somente sistemas que simulem o modo como o ser humano toma decisões será inteligente? O 10º princípio nos dá uma luz. Além disso, acredito que eles devam estar falando sobre criar IA pela IA, para testar se conseguem criar algo inteligente. Pesquisadores, ao desenvolve-la, devem criar uma IA direcionada ao benefício da humanidade e não somente para testar se o sistema criado é inteligente.

Sobre o número 5, prevenção de corrida: A cooperação entre equipes de desenvolvimento é um objetivo bem interessante e possivelmente pode até mesmo acelerar o desenvolvimento de sistemas com IA. Mas, se essas equipes pertencem a empresas privadas, isso dificilmente será alcançado. As empresas irão focar em manter para si a sua propriedade intelectual. Mas, é claro, se uma empresa desenvolver um sistema mais avançado, uma outra ficará querendo que esta compartilhe o seu conhecimento.

Sobre o 10º princípio, meio que estão prevendo que os sistemas com IA devem simular a forma como humanos tomam decisões, e assim esses sistemas devem ter seus valores alinhados com os valores humanos. Mas os valores dos seres humanos dependem da cultura na qual estão inseridos. Um sistema alinhado com o valor de alguém do Brasil possuirá diferença nos valores de alguém de outro país. Os próprios pesquisadores se questionam sobre isso no 2º princípio.

Sobre o 15º princípio, um sonho de compartilhamento de prosperidade entre os países. Mas de que forma ocorreria esse compartilhamento? Vamos oferecer a nossa prosperidade para um povo que ainda não entrou em contato com a tecnologia de sistemas computacionais? Ou esses avanços serão abertos para que outras nações possam aproveitar desses benefícios?

E no 17º eles estão falando da IA, ou de uma equipe que controle essa IA, tomar o controle da sociedade? Exterminador do Futuro e 1984 vêm à mente lendo este princípio.

Esses são os princípios que, como mencionado anteriormente, deverão guiar os pesquisadores no desenvolvimento de uma IA que beneficie toda a humanidade. Alguns mais fáceis de cumprir do que outros.


Leia mais sobre como esses princípios foram desenvolvidos aqui.

Lista com os nomes dos cientistas que assinaram os Princípios, aqui.