피지컬 AI 반도체와 3.5D 패키징

안녕하십니까 애트리 지능형 반도체 연구 본부를 맡고 있는 구 본퇴라고 합니다. 반갑습니다. 시간을 정확하게 맞춰줘야 되기 때문에 빠르게 진행하도록 하겠습니다. 저희 본부는 지능형 반도체라는 표현이 있는데요. 그래서 지능이 들어가는 모든 반도체는 다 안다 이렇게 모터를 잡고 있습니다. 한...

6년, 7년 전부터는 초고대 AI 반도체, 피민공지능 반도체, 지능형 엔지 반도체, 지능형 센싱 반도체. 보시는 것처럼 AI에 관련된 내용이 3개의 실로 구성되어 있고, 저 마지막에 있는 센싱 쪽은 기존의 통신용 RF 쪽 설계하던 분들이 레이더 쪽으로 지능을 집어넣어서 레이더 연구를 하겠다. 이렇게 되어 있는 곳입니다. 정부 조직에 맞춰서 어떤 기조가 발생이 되면

반도체도 비슷하지만 다른 것도 다 비슷하지만 반도체 조직 중에서도 저희는 좀 포커싱을 해서 연구를 하고 있습니다. 그래서 저희 본부의 모터는 초기에는 사업혁명에 들어가는 핵심 기술에 들어가는 모든 반도체를 만들자 이게 키고요. 그 중에서도 한 6년 전부터는 12대 국가전력의 AI 반도체 얘기를 굉장히 많이 나오고 있기 때문에 AI 반도체에 들어가는 모든 기술

여기서 보시면 HBM, LPDDR6, NPO 설계, 유럽 오픽, 리스크5에 해당하는 엣지, 기존의 통신에서 하던 분들이 레이더 쪽을 활용해서 하는 연구. 이런 부분들을 잘 엮어서 2026년도는 피지컬 AI 또는 특화 디바이스 AI 반도체 쪽으로 가겠다. 이런 로드맵을 갖고 있어요

제가 하이닉스에 있다가 하이닉스라고 부르면 안되고 현대전자라는 데에 있다가 99년도에 애트리에 들어왔거든요. 그래서 애트리에 들어와서 2000년부터 과제를 하면서 했던 칩 그림입니다. 그래서 2001년부터 7년, 8년까지는 DMV 쪽에 포커싱을 했고요. 그러니까 이때 당시에는 정부가 DMV 모바일 분송에 해당하는 쪽에

되게 많이 미뤄졌어요. 그래서 DMP쪽을 했고 그 다음에 그 중간에 LTE 이동통신이 있고요. 그러면서 프로세서쪽은 DSP 개발을 했고 스마트폰이 나오면서는 리스크5 또는 한국형 CPU를 개발하고 있었고요. 2017년도 저쪽 빨간색으로 표시되어 있는데 보면 한 2017년부터는 AI 모델이 나오기 시작하니까

그래서 애틀이 내에서 어떻게 생각을 했냐면 AI만을 위한 반도체를 만들어 보는게 좋지 않을까? 사실 NVIDIA의 GPU가 있었지만 NVIDIA의 GPU는 그냥 그래픽 프로세서 유닛이었고 그 다음에 AI 모델들은 들여다봤더니 그때는 CNN 계열이긴 했는데 그래서 CNN 계열의 AI 모델을 잘 돌릴 수 있는 반도체를 좀 빨리 만들어서 세계적으로 석권을 해보면 좋겠다 이런 생각을 가지고 2017년, 16년도부터는 연구를 하게 됐습니다.

시작했고 2019년 말쯤에 저 AB9이라는 칩을 만들어냈습니다. 근데 이 AB9은 뭐 여러분도 아시다시피 CNN 정도의 YOLO5까지 돌려보는 그런 칩이었거든요. 근데 22년도에 제치피티가 나오면서 LLM을 돌릴 수 있는 반도체가 필요한데 저 AB9은 LLM을 돌릴 수 있는 반도체는 아니긴 했습니다. 저희가 곽인구한테 돈을 많이 받아서 저 AB9라는 칩을 만들었는데

2022년 챗챗피티가 나오면서 챗챗피티를 돌려봐 이렇게 요청을 했지만 돌릴 수가 없는 거죠. 어떻게 어떻게 구경구경해서 돌릴 수는 있을 수는 있지만 아무런 효율성도 없기 때문에 그래서 부랴부랴 2022년부터는 LLL 기반의 반도체를 만들기 시작했고 지금 그 반도체를 어느정도로 만들어가고 있습니다. 그래서 2022년부터 2025년까지의 저희가 지금 했던 결과인데요.

펜타플러스급의 NPU 일단은 리벨리엄의 수요사가 지금 하시는 것처럼 좀 고성능의 사양이죠 그래서 1펜타플러스급을 돌릴 수 있는 NPU 설계를 했고 그거를 저 밑에 인터포저라는 그림에 보시면 HBM 8개하고 NPU4가 2개가 들어가는 저 대용량 인터포저 위에다가 침내 기반으로 만드는 것을 지금 해오고 있고요 아직 결과는 보지는 못했습니다

저희 인터포저 연결하는 게 생각보다 굉장히 어려운 상황인 것 같아요. 그래서 이 부분을 국내 기업들하고 협력해서 지금 어느 정도 수준까지 와 있고 한 올해 정도면 결과를 보지 않을까 이렇게 생각을 하고 있고요. 그 다음에 또 하나는 우리나라가 슈퍼컴을 가져보자. 슈퍼컴의 전체 시스템을 가져보자 이런 과외 부에서도 의견을 주셔서 슈퍼컴에 들어가는 가속기 칩을 만들어냈고 저희 공부에서는 가속기 칩을 만들어냈고 컴퓨팅하는 공부에서는 이 칩을 기반으로 해서 시스템까지 만들어서

슈퍼컴의 근간이 되는 모듈까지 만들어 본 경험을 갖고 있습니다. 마지막 세 번째는 여러분도 다 아시는 것처럼 NPU가 워낙 전력이 많이 먹으니까 그러면 NPU를 대체할 만한 새로운 반도체가 무엇일까? PIM, 프로세서인 메모리이라는 그런 영역하고 그 다음에 좀 더 완전히 다른 인간의 뇌를 생각한 Niro-popping 그래서

뉴로무픽이라는 것을 저희는 앞에서 보셨던 것처럼 2018년 정도쯤 부터는 뉴로무픽을 연구를 하기 시작했고요. 거기에 들어가는 회로들을 만들어서 붙여보면서 진행을 했고 지금은 굉장히 저전력으로 된 칩을 만들어서 그림에서 보시는 것처럼 숫자인식 정도를 2025년도는 했고요. 2026년도 지금은 기업체하고

생체인식 쪽에 들어가는 걸로 만들어볼 수 있습니다. 여기까지는 AI 반도체에 관련된 팀들의 한 역할이고 제일 마지막 저쪽 끝에만 보면 탐지형 레이다 특화 센서가 있는데 그 RF를 하는 통신용 RF를 하는 그 팀에서는 레이다에 들어가는 RF 설계 레이다용 RF 설계를 조작 잘 내 연구를 하기 시작했고

거기에 드론을 탐지할 수도 있고 사람의 생체에 대한 부분을 탐지하는 영역 이런 것을 하다 보니까 저희가 온 디바이스로 넘어가면서는 이런 기술들을 다 망나 해서 피지컬 AI 쪽 산업부의 K-온 디바이스 국방이나 치안에서 요구하고 있는 요즘 위인기에 들어가는 그런 레이다 영역 또는 드론에 들어가는 영역에 AI와 레이다를 접목하면 좋겠다 이렇게 생각은 좀

있습니다. 그러면서 저희가 정보한테 제안하고 있는 것은 피지컬 AI 로봇이 워낙 핫하게 뜨고 있는데 과연 로봇에서 어떤 기술들이 필요할 거냐 사실은 정확하게는 잘 모르겠습니다. 그러나 이제 저희가 했던 기술들을 쭉 바탕으로 해보면 mpu 포화에 학습하는 기능도 필요하고 그 다음에 cpu 리스크 파이프 같은 그런 표현도 필요할 것이고

그 다음에 AI 반도체에 돌리기 위한 소프트웨어 기술, 그 다음에 저쪽 로봇 모델과 연동되는 3D 렌더링이라든지 이런 영역, 그 다음에 뉴런 루핑 영역, 그 다음에 침내 기술, 이런 것들을 나름대로 보유하고 있다 보니까 이런 것을 잘 연결을 시키면 멀티모달 최근에 나오는 강화학습에 필요한 피지컬 AI 반도체를 우리가 독자로 만들어낼 수 있을 것 같다.

생각을 하고 있습니다. 네, 사실 시간이 몇 분... 저희가 처음에 시작을 할 때 엔비디아가 갖고 있는 AI 모델이 워낙 커지니까 채찍 PT가 나오면서 HBM이 이제 뛰기 시작했잖아요. 워낙 데이터 양이 많으니까 MPU에다가 가깝게 붙일 수 있는 기술

HBM을 가깝게 붙일 수 있는 기술이 필요하다고 생각을 했는데 침넷 기술이 사실 그것만 있는 건 아니거든요 그래서 제가 오늘은 침넷 기술의 두 가지 모습을 보여드리고 싶어서 이 장표를 갖고 왔는데요 첫 번째는 엔비디아가 추구했던 AI 모델의 거대한 데이터를 한 칩에서 가져갈 수 있는 모양은 결국 저 가운데 있는 로직다이 옆에 HBM을 얻을만한 가깝게 붙여서 빠르게 서로 간에 데이터를 주고 받을 거냐 이 모양이 중요한데

거기에 핵심은 두 번째 그림에 인터포저라고 써있는 저 부분하고 서브 스트레이트 저 부분인데요. 저 인터포저하고 서브 스트레이트가 단단하게 받침이 돼서 저 GPU 다이하고 HBM에서 나오는 신호들이 서로 간에 이렇게 인터코넥션이 잘 돼야 되거든요. 근데 현재는 TSMC 요즘에 삼성에서 조금 하지만 저 인터포저와 서브 스트레이트를 제대로 만들 수 있는 편은 아직까지 TSMC 하고

엔비디아밖에 없는 상황인 것 같습니다. 이 기술을 국내에서도 가져 보겠다고 생각을 해서 저희가 ABS-1A라는 Art Brain Server급 1A이라는 이 밑에 그림인데요. 이 그림에서 다시 설명을 드리면 HBM3를 8개를 붙이고 가운데에 비율을 붙이고 인터포저 설계를 해서 그 다음 밑에 Substraight를 만들어서

패키징을 하겠다. TSMC에 능가하는 그런 정도의 칩을 만들어 보겠다라고 2022년부터 시작을 한 거죠. 그래서 패키지 사이즈를 보면은 되게 큽니다. 8.5cm x 8.5cm거든요. 그러니까 손바닥만 제 손바닥만 합니다. 그 다음에 들어가는 인터포저는 대략 5cm x 5cm 정도 되고요. 저 인터포저를 만드는 데 실리콘도 있지만 제가 RDL로 하면 좀 더 가격이 싸기 때문에

아이디엘로 만들어서 저의 HBM하고 로직하고 서로 연결을 인터코넥션을 잘 할 수 있도록 해야 되는데 저 볼이 그림에서는 뭐 몇 개 안 되는 것처럼 보이지만 실제 만들어 보면 한 20만 개 정도 볼들로 구성이 되어 있고 20만 개 중에 서로 연결되는 부분들이 잘 연결이 돼야 한 6기가 정도 속도로 데이터가 왔다 갔다 하는데 그렇게

20만 개가 6기가 정도 속도로 왔다 갔다 할 수 있을 만큼 SI나 PI 부분이 잘 이루어지지 않더라고요. 그런 부분들이 좀 어려운 상황에 있습니다. 이제 애트리에서 지금 이렇게 만들어 가고 있는데요. 아까 그 그림하고 다르진 않습니다. 여기 보면 ABHM3A라고 해당하는 영역이 HBM하고 연결될 회로들이고요. 그러면 이게 8개가 지금 HBM 붙어 있고

가운데 128x ab anc라고 되어 있는 부분이 mbo 코아인데 저 두개를 다 합하면 대략 1펙타클로스 급에 해당하는 연산을 돌릴 수 있는 코아거든요. 목표는 그때 당시의 목표는 hbac, nvidia의 hbac이라는 룸의 연산 속도를 충분히 커버할 만한 칩을 만들어 보겠다고 생각하고 있고 그래서 pci 인터페이스, hbac 메모리 인터페이스

그 다음에 두 칩간에 다이 투 다이 연결할 수 있는 부분에 회로로 구성되어 있습니다. 사실 저희가 이제 잇저보디 첨단 패키징하는 이 얘기만 주구장창하는데 사실 이것도 친넷이잖아요. 근데 원래 친넷에 처음 목표했던 게 뭐냐면 옆에 있는 SOC라고 써져 있는 저 GPU 센서, CPU, IO, PCI 등등을 사실 원칙으로 때려내면 온 디바이스에서는 제일 좋겠죠.

그런데 굳이 GPU나 CPU를 2nm로 만약에 만든다면 PCI나 센서 부분들을 굳이 2nm로 할 필요 없다. 그리고 SOC의 사이즈가 워낙 커지니까 한측으로 만드는 게 더 돈도 많이 들어간다. 그래서 친렛이라는 개념이 나오기 시작했는데 옆에 보면 GPU 7nm, 센서 28nm, CPU 7nm, pci 22나로 이렇게 따로따고 칩을 만들고 그 놈을 이제

아까 인터포저라는 기판 위에다가 필름 위에다가 서로 간에 붙여서 원칙을 만드는게 침넷의 개념인데요. 이게 저는 온 디바이스에서 앞으로는 더 중요할 거다. 사실 S-Occ로 칩을 만들면 제일 깔끔하고 제일 동작도 빠르고 좋은 건 분명히 맞을 것 같습니다. 그리고 여태까지의 칩을 만드는 추세는 그런 추세였는데

빠른 시간 내에 저 금액으로 만들 수 있는 방법은 침내 기술이 되지 않을까 그게 이제 온 디바이스까지 내려올 거다 아직까지는 예측입니다. 이게 여기서의 장단점은 있겠지만 어... 앞으로의 추세는 여기로 갈 거다 라고 저는 좀 생각을 하고 있고요 그래서

마지막 장입니다. 그래서 애트리가 사실 잘못 판단을 해서 다음 발표할 때는 다른 얘기를 할 건지는 모르겠는데 2.5D에 처음에는 거대한 AI를 돌리기 위해서 HBM을 가깝게 붙이는 기술을 한 이 기술을 바탕으로 해서 3.5D로 넘어가면서 피지컬 AI에 해당하는 영역으로 발전을 시켜보겠다. 라고 저희는 좀 생각을 하고 있습니다

기술적으로는 3.5위로 되면 더 수직적으로 쌓이기 때문에 열 문제라든지 이런 이슈들이 굉장히 해결해야 될 이슈들이 클 것 같고요. 그렇지만 저전력 이슈나 소형화되면서 대용량을 돌릴 수 있는 방법은 이 영역이지 않을까라고 생각을 하고 앞으로 과제는 이쪽으로 했으면 좋겠다라고 정부에다가 요청하고 있는 상황입니다.

짧게 저희 분부가 생각하는 다음 AI의 모델은 이런 방향이지 않을까? 피지컬 AI를 돌리기 위한 새로운 구조의 반도체를 만들어내는 연구를 해봐야겠다. 이렇게 생각을 하고 있습니다. 제 발표는 이걸로 마치도록 하겠습니다. 감사합니다.