China desenvolve modelo de IA com trilhões de parâmetros em chips próprios

247 - A gigante chinesa de telecomunicações China Telecom desenvolveu dois grandes modelos de linguagem de IA utilizando chips de produção própria, sendo um deles com 1 trilhão de parâmetros, informou o jornal South China Morning Post nesta segunda-feira.

O modelo de código aberto TeleChat2-115B e um segundo modelo, ainda sem nome, foram testados em dezenas de milhares de chips de produção própria, marcando um importante avanço em meio ao aumento das restrições dos EUA ao acesso da China a semicondutores avançados, incluindo os chips de inteligência artificial mais recentes da Nvidia, segundo o jornal.

O desenvolvimento foi conduzido pelo instituto de pesquisa em IA da China Telecom. O TeleChat2-115B contém mais de 100 bilhões de parâmetros, enquanto o modelo sem nome possui 1 trilhão de parâmetros. O número de parâmetros envolvidos no processo de treinamento determina a complexidade e eficiência dos modelos de IA.

Em outubro de 2022, os Estados Unidos anunciaram uma série de regras restringindo a exportação de equipamentos e componentes para a produção de chips avançados para empresas localizadas na China. Um ano depois, o Departamento de Comércio dos EUA emitiu novas restrições à exportação de tais semicondutores. Essas regras alteraram a definição de chips de IA e introduziram requisitos adicionais de licenciamento para seu envio a mais de 40 países, a fim de evitar sua revenda para a China.

Na China, existem mais de 100 LLMs (modelos de linguagem de grande escala) com mais de 1 bilhão de parâmetros. Eles podem ser usados em transmissão de informações eletrônicas, saúde, transporte e em várias outras áreas. Em dois anos, o tamanho dos modelos de linguagem de grande escala aumentou milhares de vezes, e o custo da potência computacional continua a cair. A tecnologia LLM está avançando rapidamente e pode lidar com texto, linguagem e visão, mas, para alcançar a AGI (inteligência artificial geral, que pode pensar e agir como um humano), os modelos de próxima geração devem ser maiores, mais complexos e com pensamento lógico de múltiplos níveis. (Com informações da Sputnik).