2023년 3월 30일
BloombergGPT, 일반 LLM 벤치마크 성능은 유지하되 금융 NLP 작업에서 유사 규모의 개방형 모델을 큰 폭으로 능가
뉴욕 – 블룸버그는 3월 30일 새로운 대규모 생성형 인공지능(AI) 모델인 BloombergGPT 개발을 상세히 기술한 연구 보고서를 발표했다. 이 초대형 언어 모델(LLM)은 금융 업계 내의 다양한 자연 언어 처리(NLP) 작업을 지원하기 위해 광범위한 금융 데이터를 기반으로 특별히 트레이닝되었다.
최근LLM을 기반으로 한 인공지능(AI)의 발전으로 이미 많은 분야에서 새롭고 흥미로운 애플리케이션이 등장하고 있다. 그러나, 금융 영역은 특유의 복잡성과 고유한 용어로 인해 특화된 모델을 필요로 한다. BloombergGPT는 금융 산업에 이 새로운 기술을 개발하고 적용하려는 첫 발자국이다. 이 모델은 체감도 분석, 개체명인식(NER), 뉴스 분류 및 질문 답변과 같은 기존 금융 NLP 업무를 개선하는 데 도움이 될 것이다. 또한, BloombergGPT는 AI의 완전한 잠재력을 금융 분야에 적용하는 한편, 블룸버그 터미널에서 제공되는 방대한 양의 데이터를 결집하여 고객들을 더욱 잘 지원하기 위한 새로운 기회의 문을 열게 될 것이다.
지난 10년 이상의 기간 동안 블룸버그는 AI, 머신 러닝, 금융 부문의 NLP에서 선구적인 역할을 수행해왔다. 오늘날 블룸버그는 새로운 금융 언어 모델의 혜택을 받을 수 있는 대용량의 다양한 NLP 업무를 지원한다. 블룸버그 연구원들은 금융 데이터와 범용 데이터세트를 결합하여 금융 벤치마크 대비 동급 최고의 결과를 달성하는 모델을 트레이닝하는 동시에 범용 LLM 벤치마크 대비 경쟁력있는 성과를 유지하도록 하는 두 마리 토끼를 모두 추구하는 접근법을 선도해왔다.
이러한 이정표에 도달하기 위해, 블룸버그의 ML 프로덕트 및 리서치 그룹은 AI 엔지니어링 팀과의 협업을 통해 기존 데이터 생성, 수집 및 큐레이션 자원을 활용하여 현존 최대 규모에 해당하는 부문 특화 데이터세트를 구축하였다. 금융 데이터 기업으로서, 블룸버그의 데이터 애널리스트들은 지난 40년 동안 금융 언어 문서를 수집하고 관리해왔다. 이 방대한 금융 데이터 아카이브에서 영어 금융 문서로 구성된 3,630억 토큰 데이터 세트를 생성하였다.
이 데이터는 700억 개 이상의 토큰이 포함된 대규모 트레이닝용 코퍼스(말뭉치)를 작성하기 위해 3,450억 개의 토큰 공개 데이터 세트로 보강되었다. 이 코퍼스 트레이닝 과정의 일부를 사용하여 블룸버그 팀은 500억 개의 매개변수 디코더만 사용하는 인과적 언어 모델을 트레이닝했다. 결과 모델은 기존 금융 특화 NLP 벤치마크, 블룸버그 내부 벤치마크 제품군, 인기 벤치마크(예: BIG-벤치 하드, 지식 평가, 독해 및 언어 작업)의 광범위한 범용 NLP 작업 카테고리에 대해 검증되었다. 특히, BloombergGPT 모델은 일반 NLP 벤치마크와 비슷하거나 더 나은 실적을 보이면서도 금융 작업에서 유사한 규모의 기존 개방 모델을 상당 폭으로 능가한다.
표 1. BloombergGPT가 금융 전문 및 범용의 두 가지 광범위한 NLP 작업 카테고리 전반에서 보인 성과.
블룸버그의 션 에드워즈 최고기술책임자는 “퓨샷 러닝(few-shot learning), 텍스트 생성, 대화 시스템 등 생성형 LLM이 매력적인 많은 이유가 있지만, 우리는 금융 분야에 초점을 맞춘 최초의 LLM을 개발했다는데 상당한 가치를 두고 있다”며 “BloombergGPT를 사용하면 다양한 새로운 유형의 애플리케이션을 실행할 수 있을 뿐 아니라, 각 애플리케이션의 맞춤형 모델보다 훨씬 빠른 출시 시간으로 훨씬 더 큰 발군의 성능을 제공할 수 있다”고 말했다.
블룸버그의 기디온 맨 머신러닝(ML) 프로덕트 및 리서치 팀장은 “머신 러닝과 NLP 모델의 품질은 입력하는 데이터에 좌우된다”며 “블룸버그가 40년 넘게 엄선하여 수집한 금융 문서로 인해 금융 활용 사례에 가장 적합한 LLM을 교육할 수 있는 방대하고 정돈된 부문 특화 데이터세트를 신중하게 구성할 수 있었다. 우리는 기존 NLP 업무흐름을 개선하기 위해 BloombergGPT를 사용함과 동시에 이 모델을 고객들이 활용할 수 있는 새로운 방법을 구상하게 되어 기쁘게 생각한다”고 말했다.
BloombergGPT 개발에 대한 추가 정보는 arXiv의 논문을 참고: https://arxiv.org/abs/2303.17564.
블룸버그에 대하여
블룸버그는 비즈니스 및 금융 정보 분야의 글로벌 리더로서, 시장에 투명성, 효율성 및 공정성을 제공하는 신뢰할 수 있는 데이터, 뉴스 및 인사이트를 제공합니다. 블룸버그는 신뢰할 수 있는 테크놀로지 솔루션을 기반으로 전 세계 금융 생태계 전반에 걸쳐 영향력 있는 커뮤니티를 연결하여 고객이 정확한 정보에 기반한 의사 결정을 내리고 더 나은 협업을 촉진할 수 있도록 지원합니다.
미디어 담당 연락처
차임 하스
chaas30@bloomberg.net
알리사 길모어
agilmore7@bloomberg.net