Três grandes companhias da indústria de tecnologia global, Nvidia, Arm e Intel estabeleceram um formato padrão para facilitar o desenvolvimento da Inteligência Artificial (IA). Um white paper foi divulgado pelas empresas mostrando as especificações do 8-bit floating point (FP8) que otimiza o uso de memória e processamento pelos algoritmos.
“O FP8 minimiza os desvios dos formatos de ponto flutuante IEEE 754 com um bom equilíbrio entre hardware e software para acelerar a adoção e melhorar a produtividade do desenvolvedor”, escreveu Shar Narasimhan, diretor de marketing de produtos de treinamento de IA e GPU de data center na Nvidia.
Padrão da indústria de Inteligência Artificial
Fonte: Intel
A especificação é implementada nativamente na arquitetura GH100 Hopper da Nvidia e no chipset de treinamento Gaudi2 AI da Intel. De acordo com Narasimhan, o FP8 pode chegar ao desempenho, em alguns casos, comparável a 16 bits.
O formato comum de 8 bits beneficiaria outras companhias da indústria de tecnologia, como SambaNova, AMD, Groq, IBM, Graphcore e Cerebras. Essas empresas experimentaram ou adotaram soluções baseadas no FP8 para desenvolvimento de sistemas.
O número menor de bits reduz a demanda por memória para treinar e executar os algoritmos, inclusive com menor largura de banda e uso de energia enquanto os cálculos são acelerados. Porém, algumas bases de dados mais complexas para treinamento de IA requerem 32 bits e, ocasionalmente, 64 bits.
