Bloomberg — A Bloomberg divulgou um documento de pesquisa detalhando o desenvolvimento do BloombergGPT, um modelo de inteligência artificial generativa criado especificamente para abordar a terminologia do setor financeiro e que promete revolucionar o setor.
O modelo de linguagem em larga escala (LLM), com 50 bilhões de parâmetros, ajudará a Bloomberg a melhorar as tarefas existentes de processamento de linguagem natural (PNL) em finanças, tais como análise do sentimento do usuário, reconhecimento de entidade nomeada, classificação de notícias e resposta a perguntas, entre outras.
Além disso, a grande quantidade de dados disponíveis no terminal da Bloomberg permitirá que a empresa forneça informações financeiras muito mais precisas em sua ferramenta de AI.
A Bloomberg tem estado por mais de uma década na vanguarda da aplicação da IA, do machine learning e do processamento de linguagem natural nas finanças. A empresa realiza um conjunto muito amplo e diversificado de tarefas PLN, todas elas beneficiadas pelo novo modelo de linguagem para finanças.
Os pesquisadores da Bloomberg trabalham em uma abordagem mista que combina dados financeiros e conjuntos de dados de uso geral para treinar um modelo que alcance os melhores resultados da categoria em benchmarks financeiros, de acordo com a empresa.
O documento de pesquisa divulgado pela empresa na quinta-feira (30) mostra que os analistas de dados da Bloomberg coletaram e trataram documentos em linguagem financeira ao longo de quarenta anos. A equipe se baseou neste extenso arquivo de dados financeiros para criar um dataset de 363 bilhões de tokens (pequenos trechos de texto que formam a base para o treinamento destes modelos em linguagem natural) de documentos financeiros em inglês.
A este conjunto foram adicionados 345 bilhões de tokens para criar um grande corpus de treinamento de mais de 700 bilhões de tokens. Usando uma parte desse corpus de treinamento, a equipe treinou um modelo de linguagem causal com 50 bilhões de parâmetros de decodificação.
Com estes números superlativos, em tarefas financeiras, o modelo BloombergGPT tem um desempenho muito superior aos modelos abertos existentes de tamanho semelhante, ao mesmo tempo em que obtém pontuação igual ou melhor nos testes gerais de PNL.
“Por todas as razões pelas quais os modelos generativos de linguagem de grande porte (LLMs) são atraentes - aprendizagem de baixo nível, geração de texto, sistemas de conversação e assim por diante - vemos um tremendo valor em ter desenvolvido o primeiro LLM focado no domínio financeiro”, diz Shawn Edwards, diretor de tecnologia da Bloomberg, em um comunicado da empresa.
“BloombergGPT nos permitirá abordar muitos novos tipos de aplicações, ao mesmo tempo em que nos proporcionará um desempenho muito maior fora da caixa do que os modelos personalizados para cada aplicação, com um tempo de comercialização mais rápido”.
Leia também:
ChatGPT: é tarde demais para fazer uma pausa na Inteligência Artificial