인공지능(AI)의 두뇌는 반도체입니다. 반도체 기술이 발전하면서 AI 성능도 부쩍 좋아지고 있습니다. 특히 AI 처리에 적합한 ‘AI 반도체’가 등장하면서 AI의 성능은 기하급수적으로 높아지고 있습니다. 인공지능 전문매체 더에이아이(THE AI)는 본지의 2023년 1/4분기 신년 기획 ‘THE KAT 2023’의 두 번째(Phase Two) 순서로 ‘AI 반도체’의 발전상황과 국내외 기술 수준에 대해 알아볼 계획입니다. 기사는 총 6회에 걸쳐 연재되고 있습니다. 독자 여러분들의 많은 관심 부탁드립니다. - 편집자 주
미국 인공지능(AI)연구소 ‘오픈AI’가 초거대 AI ‘GPT-3.5’를 기반으로 개발한 대화형 모델 ‘챗GPT’가 알파고가 보유하고 있던 AI 대표주자 배턴을 이어받았다. 2016년 이세돌 바둑기사와의 대결로 세간에 AI 시대 개막을 알린 알파고에 이어 또 다른 AI 신드롬을 일으키고 있다. 출시 5일 만에 사용자 100만 명 달성했다. 사용자 100만 명을 달성하기까지 넷플릭스는 3년 반, 페이스북이 10개월이 걸린 것을 생각하면 놀라운 성과다. 이후 챗GPT는 불과 40일 만에 사용자 1000만 명을 달성했다.
챗GPT 인기는 AI 업체뿐 아니라 메모리 반도체 업체에도 영향을 주고 있다. SK하이닉스는 지난해 하반기 시황 약세로 메모리 반도체의 인위적 감산을 공식화했지만, 고대역폭메모리(HBM) 제품 생산은 줄이지 않았다. AI 관련 연구와 투자가 지속되고, 이를 소화할 수 있는 데이터센터 구축이 많아지면서 HBM 수요가 높아질 것으로 관측한 영향으로 해석된다. 김우현 SK하이닉스 최고재무책임자(CFO)는 1일 4분기 실적발표에서 “AI에 기반한 신규 서버용 메모리 수요가 발생할 수 있는 긍정적인 시그널이 시장에서 나오고 있다”며 “(현재 상황이 어렵지만) 시장 반등 시 빠르게 턴어라운드를 해낼 것으로 기대한다”고 말했다.
실제로 챗GPT와 같은 AI 서비스를 운영하기 위해선 중앙처리장치(CPU), 그래픽처리장치(GPU) 등의 연산장치가 필요한데, 여기에는 HBM 등 D램 제품군이 대거 탑재된다. 데이터센터용 GPU 판매가격 중 HBM이 차지하는 비중은 30%대에 육박하는 것으로 알려졌다. 이처럼 AI 시장 성장은 메모리 강국인 한국엔 호재다. 시장 흐름에 맞춰 메모리 반도체 1, 2위 기업인 삼성전자와 SK하이닉스는 초거대 AI 모델을 지원하기 위한 기술 개발에도 박차를 가하고 있다. 챗GPT에 사용된 GPT-3.5보다 더 큰 모델이 개발·등장하고 있는 만큼, 이러한 모델들이 적은 전력으로 높은 성능을 낼 수 있도록 메모리 기술을 고도화하는 중이다.
◇초거대 AI 전력 문제, 메모리 기술로 해결
“기존 반도체 발전 속도로는 AI 시장의 무서운 성장세에 대응하기 어렵다. 반도체 업체는 단품에서부터 시스템까지 많은 변화가 요구된다. 현재 AI 학습과 연산에는 CPU, GPU, 등 여전히 프로세싱 유닛 중심으로 되어 있지만, 미래 컴퓨팅은 데이터 처리가 중심이 되기 때문에 곧 메모리가 데이터 환경을 주도할 것이다.”
이정배 삼성전자 메모리사업부장(사장)이 2021년 열린 반도체대전(SEDEX) 기조연설에서 한 말이다.
이 사장의 말처럼 현재 삼성전자와 SK하이닉스는 빠른 속도로 성장하는 AI에 대응하기 위해 메모리 기술을 고도화하고 있다. 현재 메모리 반도체 업체가 AI 시장에서 가장 주목하고 있는 분야는 전력 소모 문제다. AI 모델 학습과 연산에는 막대한 전력이 소모되는데, 최근 초거대 AI 등 전체 모델 크기가 증가함에 따라 더 많은 전력이 사용되고 있어서다. 최창규 삼성종합기술원 전무는 “1750억 개의 파라미터(매개변수)를 가진 GPT-3는 한 번 학습시키는데 약 1.3기가와트시(GWh)를 소비한다”며 “이는 한국 전체에서 약 1분간 소비하는 전력량과 같은 수준”이라고 말했다. 이어 “여기서 발생하는 탄소 배출량은 8만4000대의 차가 배출하는 탄소량과 같다”며 “이를 정화하기 위해서는 8500만 그루의 소나무를 더 심어야 한다”고 지적했다.
그는 AI 개발이 양산하는 전력 소모 문제를 해결하기 위해서는 메모리와 저장장치 혁신이 필요하다고 설명했다. 메모리에서 명령어를 불러오고 실행한 뒤, 그 결과를 다시 메모리에 저장하는 기존 ‘폰노이만’ 구조에서 벗어난 새로운 솔루션이 필요하다고 밝혔다. 여기서 제안된 이론이 ‘지능형메모리반도체(PIM)’다.
PIM은 메모리 내부에 연산 기능이 탑재돼 있어 자체적으로 연산 처리를 할 수 있는 반도체 기술이다. 데이터를 저장하는 메모리와 연산하는 프로세서가 별도로 있는 기존 폰노이만 구조와 다르다. 폰노이만 구조에서 연산 작업을 하려면 메모리에 있는 모든 데이터가 연산장치로 옮겨야 한다. 중앙저리장치(CPU)가 주 기억장치인 메모리로부터 명령어를 불러와 연산하고 그 결과를 다시 기억장치에 저장하는 방식이다. 이 과정에서 CPU와 메모리 간 주고받는 데이터가 많아지면 작업 처리가 지연되는 병목현상이 발생했다. 하지만 PIM은 내부에 탑재된 연산 기능으로 자체적으로 연산하고 그 결괏값만 프로세서로 보내면 된다. 메모리 내에 있는 대량의 정보를 프로세서로 이동시키지 않고 소량의 데이터만 옮기면 돼 병목현상이 줄어든다. 이로 인해 컴퓨팅 시스템과 AI 가속기 시스템 등 전체 성능을 높일 수 있고 데이터 이동으로 발생하는 전력 소모량도 줄일 수 있다.
SK하이닉스 관계자는 “AI가 처리하는 데이터가 기하급수적으로 증가하면서 전체 시스템에서의 전력 소모가 감당하기 어려워질 정도로 증가해 기존 폰노이만 구조와 다른 솔루션에 대한 시장의 요구가 많았다”며 “PIM은 전력 소모 문제를 줄일 수 있는 기술로 계속 새로운 모델이 나올 것으로 전망되는 초거대 AI에도 적합한 반도체”라고 설명했다.
◇삼성전자·SK하이닉스 “지능형 반도체로 메모리 시장 초격차 유지할 것”
정부는 PIM 개발에 2022년부터 6년간 4000억 원 이상을 투자하며 기술 확보 마련에 나서고 있다. AI 분야에서 데이터 학습·연산량이 크게 증가할 것으로 전망되는 만큼, 그 기반이 되는 메모리 기술을 선제적으로 확보하겠단 전략이다. 한덕수 국무총리는 26일 열린 ‘제2차 국가데이터정책위원회’에서 “AI 반도체 초격차 기술 확보가 중요하다”면서 “NPU와 PIM 개발에 올해 668억 원을 지원할 것”이라고 했다.
세계 메모리 반도체 시장 1, 2위 기업인 삼성전자와 SK하이닉스는 자체적으로 PIM 기술 개발에 나서고 있다. 이미 관련 제품도 출시한 상태다. 삼성전자는 2021년 2월 세계 최초로 메모리 반도체와 AI 프로세서를 하나로 결합한 ‘HBM-PIM’ 개발에 성공했다. 자사 2세대 고대역폭메모리인 ‘HBM2(아쿠아볼트)’에 PIM을 적용한 제품이다. 이 반도체는 실제로 AI 성능 향상과 전력 소모 감소에 효과가 있는 것으로 나타났다. 삼성전자는 이 제품을 프로그래머블(FPGA) 반도체 개발 업체인 미국 자일링스가 이미 상용화한 AI 가속기 시스템에 HBM-PIM을 탑재해 성능 테스트를 진행했다. 그 결과 기존 시스템보다 성능이 약 2.5배 향상됐고, 에너지는 60% 이상 줄었다고 발표했다. 삼성전자는 올해 중 3세대 고대역폭메모리 ‘HBM3’와 PIM을 결합한 HBM3-PIM도 선보일 예정이다. HBM3가 HBM2에 비해 속도가 1.8배 빠른 만큼 지금보다 더 높은 성능의 지능형 메모리 반도체가 나올 것으로 전망된다.
삼성전자는 HBM 외 다른 분야에도 PIM 기술을 접목하고 있다. 모바일 D램에 PIM 기술을 탑재한 ‘LPDDR5-PIM’이 대표 제품이다. 모바일 기기가 취합한 데이터를 데이터센터로 옮기지 않고도 디바이스 자체에서 연산을 수행할 수 있게 하는 메모리 반도체다. 데이터를 굳이 서버로 이동할 필요가 없어 에너지 소모가 줄고 연산 속도도 빠르다. 데이터 이동에 따른 보안 문제도 줄일 수 있다. 삼성전자는 PDDR5-PIM을 테스트한 결과 음성인식·번역·챗봇 등에서 2배 이상의 성능 향상이 이뤄졌고, 60% 이상의 에너지 감소했다고 밝혔다.
SK하이닉스는 삼성전자보다 1년 늦게 PIM 관련 제품을 선보였다. 지난해 2월 초당 16기가비트(Gbps) 속도로 데이터를 처리하는 GDDR6 메모리에 PIM을 적용한 ‘GDDR6-AiM’ 샘플을 개발했다고 발표했다. SK하이닉스에 따르면 이 제품을 일반 D램 대신 CPU·GPU와 함께 탑재하면 특정 연산 속도를 최대 16배 높이고, 에너지 소비를 80% 줄일 수 있다. SK하이닉스 관계자는 “이 제품은 머신러닝(ML), 고성능 컴퓨팅, 빅데이터 연산·저장 등에 활용할 수 있다”면서 “서비스에서 발생하는 탄소 배출량을 줄일 수 있어 ESG 경영에도 기여할 수 있다”고 말했다.
◇초거대 AI에 실질적으로 필요한 메모리 개발 박차
메모리 반도체 기업은 초거대 AI와 같은 거대 모델을 효율적으로 사용할 수 있는 장치도 만들고 있다. ‘CXL(컴퓨트 익스프레스 링크)’이다. 이 장치는 AI, 머신러닝, 빅데이터 등 고성능 컴퓨팅 시스템에서 CPU와 함께 사용되는 가속기, 메모리, 저장장치 등을 보다 효율적으로 활용하기 위해 개발됐다. 프로세서와 함께 사용되는 가속기와 메모리를 보다 효율적으로 사용하고 메모리 용량 확장을 용이하게 해준다. 별도 CPU나 GPU를 추가하지 않아도 메모리 용량을 키워 더 많은 데이터를 처리할 수 있다.
삼성전자는 지난 1월 열린 ‘CES 2023’에서 CXL를 활용한 ‘512GB 메모리 확장기(Memory Expander)’를 선보였다. 서버 시스템에 별도 CPU를 추가하지 않아도 메모리 용량을 테라바이트(TB) 수준까지 늘리고 대역폭도 증가시킬 수 있는 제품이다. 회사 측은 “데이터 처리량이 날로 폭증하는 문제를 CXL 기술로 해결할 수 있다”면서 “최근에는 CXL를 활용한 ‘CXL-PNM’기술도 개발했다”고 밝혔다. 프로세싱니어메모리(PNM)는 PIM처럼 메모리에서 데이터 연산 작업을 해 CPU와 메모리 간 데이터 이동을 줄여주는 기술이다. 삼성전자에 따르면 CXL-PNM은 높은 메모리 대역폭을 요구하는 추천 시스템이나 등에서 약 2배 이상의 성능 향상을 낼 수 있다.
삼성전자는 여기서 더 나아가 초거대 AI에 필요한 실질적인 메모리 기술을 개발할 수 있게 관련 기업과 협력하고 있다. 지난해 12월에는 초거대 AI 모델 ‘하이퍼클로바’를 개발한 네이버와 업무협약(MOU)을 체결, AI가 당면한 방대한 전력 소모, 데이터 급증, 성능 저하 등의 문제 등을 함께 해결하기로 했다. 네이버가 초거대 AI 서비스를 실제 운영하는 만큼, 개발 초기 단계부터 실제 필요에 부합하는 메모리 솔루션을 만들고 시스템 레벨에서 최적화를 도모한다는 방침이다. 정석근 네이버 클로바 CIC 대표는 “네이버가 하이퍼클로바를 서비스하면서 확보한 지식과 노하우를 삼성전자의 첨단 반도체 제조 기술과 결합하면, 최신의 AI 기술이 당면하고 있는 문제를 해결할 수 있는 기존에 없던 새로운 솔루션을 만들어낼 수 있을 것”이라고 말했다.