Em 2018 a OpenAI descobriu que a quantidade de poder computacional necessário para treinar os maiores modelos de IA vinha dobrando a cada 3,4 meses desde 2012. O laboratório agora adicionou novos dados à sua análise, que comparam os resultados com dados históricos coletados entre 1952 e 2012. Isso deixa claro que a quantidade de recursos necessários para os principais avanços em IA vem dobrando a uma velocidade sete vezes a taxa anterior.
De 1959 a 2012 o poder de processamento necessário dobrou a cada 2 anos, seguindo a basicamente a Lei de Moore. Mas ele aumentou 300.000 vezes nos últimos 7 anos. E isso não leva em conta alguns dos avanços mais recentes, incluindo o modelo de linguagem em larga escala BERT do Google, o modelo de linguagem em larga escala GPT-2 da OpenAI ou o AlphaStar, IA da DeepMind que joga Starcraft II.
Esse aumento dramático nos recursos necessários ressalta o quanto as conquistas do campo se tornaram “caras”. No ano passado, mais e mais pesquisadores soaram o alarme sobre os custos crescentes do treinamento de IA. Em junho, uma análise de pesquisadores da Universidade de Massachusetts, Amherst, mostrou como esses custos computacionais crescentes se traduzem diretamente em emissões de carbono.
Em seu artigo, eles também observaram como a tendência agrava a privatização da pesquisa em IA porque prejudica a capacidade dos laboratórios acadêmicos de competir com os mais ricos em recursos.
Em resposta a essa preocupação crescente, vários grupos do setor fizeram recomendações. O Allen Institute for Artificial Intelligence, uma empresa de pesquisa sem fins lucrativos em Seattle criada por Paul Allen, co-fundador da Microsoft, propôs que os pesquisadores sempre publiquem os custos financeiros e computacionais do treinamento de seus modelos, juntamente com os resultados de desempenho, por exemplo.
Em seu próprio blog, a OpenAI sugeriu que os formuladores de políticas aumentassem o financiamento para pesquisadores acadêmicos para preencher a lacuna de recursos entre os laboratórios acadêmicos e o setor privado.
Fonte: MIT Technology Review
Tags: