Se o surgimento da IA generativa o deixou consternado, saiba que não, ainda não vimos nada. O gênio saiu da garrafa e será difícil para ele voltar para dentro dela. Pelo contrário. A corrida está mais selvagem do que nunca e há seis projetos competindo para criar modelos de IA que vão além de 2 trilhões de parâmetros. Sim, você leu corretamente: trilhão.
Os titãs da IA com 2 trilhões de parâmetros
Os seis grandes projetos que competem pelo marco métrico de 2 trilhões são OpenAI, Antrópico, Google/Deepmind, Meta, um projeto do governo britânico e que ainda é secreto. E é uma corrida "mortal": recursos econômicos são necessários para acompanhar. Muitos. Entre 1 e 2 bilhões de dólares por ano, para atualizar constantemente o hardware (cada vez mais voraz de cálculos e energia), contratar centenas de especialistas e reter os melhores membros da equipe com salários milionários e opções de ações.
GPT-5: O Retorno do Rei
Depois de pegar meio mundo de surpresa, disparou um míssil contra o Google e ganhou muito dinheiro da Microsoft, o OpenAI já tem um possível KO em andamento. Aquele que poderia garantir a supremacia da empresa de Sam Altman. O GPT-5 será concluído até o final de 2023 e lançado no início de 2024, com o número de parâmetros entre 2 e 5 trilhões.
Não somos capazes, neste momento, de imaginar as suas capacidades.
Claude-Next: Anthropic e seu ambicioso projeto
Antrópico, a equipe fundada por ex-funcionários da OpenAI, está trabalhando em um modelo chamado Claude-Próximo, que pretende ser 10 vezes mais poderoso que os AIs atuais. Com US$ 1 bilhão em financiamento já levantado e US$ 5 bilhões a caminho, a Anthropic espera atingir suas metas nos próximos 18 meses.
Seu modelo principal exigirá 10^25 FLOPs, com o uso de clusters que consistem em dezenas de milhares de GPUs. O Google é um dos patrocinadores da Anthropic, jogando em várias mesas.
Gêmeos: Google busca redenção com Deepmind
Google e Deepmind estão colaborando para desenvolver um concorrente do GPT-4 chamado Gemini. O projeto começou recentemente, depois que Bard mostrou di deixar de competir com ChatGPT. O Gemini será um grande modelo de linguagem com trilhões de parâmetros, semelhante ao GPT-4 ou GPT-5, e usará dezenas de milhares de chips AI TPU do Google para treinamento. Ainda não se sabe se será multimodal.
A Deepmind também desenvolveu o chatbot baseado na web Pardal, otimizado para segurança e semelhante ao ChatGPT. Pesquisadores da DeepMind descobriram que as citações de Sparrow são úteis e precisas em 78% das vezes. Outro modelo top da DeepMind é Chinchila, treinado em 1,4 trilhão de parâmetros.
Os parâmetros de um futuro impensável
Se você quer ter uma ideia do que significam 2 trilhões de parâmetros, saiba que a estimativa da quantidade total de dados de texto utilizáveis no mundo está entre 4,6 trilhões e 17,2 trilhões de parâmetros.
Todos os livros, artigos científicos, notícias, toda a Wikipedia, código disponível publicamente e grande parte do restante da Internet, filtrados pela qualidade. O conhecimento humano digital.
Com a chegada de modelos maiores, novos recursos surgirão. Nos próximos 6 anos, haverá melhorias no poder de computação e algoritmos para escalar modelos mil vezes, na verdade muito mais.
CEO da Nvidia previu modelos de IA um milhão de vezes mais poderosos que o ChatGPT dentro de 10 anos.
Você pode imaginar o que essas inteligências artificiais farão conosco, o que farão com o planeta? Pense nisso rapidamente. Estamos aqui agora.
