비씨카드, 초거대 AI 모델 18종 공개… 디지털격차 없앤다

손실률 0% 동적 양자화 기술 적용… AI 진입장벽 낮춰
고가 GPU 없이 320억 파라미터 모델… 중소기업 활용 기대

BC카드 을지로 본사. /BC카드

아시아투데이 김민혁 기자·조승희 인턴기자 = 비씨카드는 국내 금융사 최초로 양자화된 초거대 언어모델(LLM) 18종을 글로벌 인공지능(AI) 플랫폼 허깅페이스(Hugging Face)에 공개했다고 9일 밝혔다.

이번에 공개된 18종의 LLM은 고가의 그래픽처리장치(GPU) 없이도 초거대 AI를 활용할 수 있도록 동적 양자화 기술을 적용한 것이 특징이다.

동적 양자화는 AI 모델이 사용하는 수치를 압축한 뒤 실제 활용 시점에 복원해 연산 성능과 효율성을 동시에 높이는 기술이다.

기존 양자화 기술은 수치 일부만을 보존해 정확도 저하 우려가 있었으나 비씨카드는 자체 기술로 손실률 0%를 구현해 정확도를 유지하는데 성공했다.

이 기술을 통해 GPU 사용량을 줄이면서도 처리 속도는 빨라지고 결과물 품질 저하 없이 인정적인 AI 모델 운영이 가능해졌다. 또한 고비용 인프라에 대한 의존도를 획기적으로 낮출 수 있는 전환점이 될 것으로 평가된다.

실제로 글로벌 기업의 최선형 GPU에서 비씨카드의 양자화 LLM을 실행한 결과 AI 연산 속도는 최대 3.5배 빨라졌으며 4000만원대 GPU에서만 작동하던 320억 파라미터 규모의 모델도 300만원대 GPU에서 원활하게 작동하는 성능을 입증했다.

이러한 변화는 단순한 기술 혁신을 넘어 AI 서비스의 진입 장벽을 낮추는 중요한 계기가 되고 있다. 고가 장비 도입에 부담을 느끼던 중소기업, 스타트업, 소상공인도 보다 저렴한 환경에서 초거대 AI 기술을 실질적으로 활용할 수 있게 된 것이다.

BC카드는 이 기술을 자사 서비스에도 적극 도입 중이다.

사내 AI 에이전트 모아이(MoAI)를 통해 지식 질의 응답, 가맹점 심사 자동화, 고객 민원 분류 및 처리 등 반복 업무를 줄이고 있으며 개인 맞춤형 마케팅 페이북 AI핫딜, 생활 콘텐츠 추천 서비스 리빙+ 등을 통해 결제 기능을 넘어선 소비생활 지원형 AI 서비스로 확장하고 있다.

조명식 비씨카드 상무는 "이번 LLM모델 공개는 고가 장비 없이도 다양한 산업현장과 금융 업무에서 AI를 효율적으로 적용할 수 있는 기반을 마련한 것"이라며 "앞으로도 누구나 쉽게 활용할 수 있는 AI 기술을 통해 기업과 개인 모두가 혜택을 누릴 수 있는 서비스를 지속적으로 선보이겠다"고 말했다.