작년 8월경 한국 nVidia 디스트리뷰터를 통해서 H100을 발주했습니다.

이렇게 생긴 녀석이고 많이도 아닌 6대 발주했습니다.

처음엔 연내 줄 수 있을 것 같다더니

납기를 8개월로 수정합니다.

꼬우면 다른거 사라는대 분석가 입장에서 대체제가 없습니다.

왜 그런가 했더니 얘들이 A100 H100같은걸로 

이렇게 수십대를 엮어 DGX라는 구성을 만들고 

그걸 수백 수천개씩 묶어서 데이터센터를 돌리고 있습니다.

기존엔 쿠다코어와 메모리깡패인 분석용 병렬연산카드를 파는게 매출이었다면

이젠 이걸 임대용으로 데이터센터를 꾸리기 시작했습니다

트렌스포머나 LLM등 요즘 딥러닝은 닥치고 멀티코어성능에 메모리 눌러담은 배치사이즈입니다.

딥마인드나 오픈AI같은 회사는 이미 큰 규모의 서버를 도입했지만,

학교나 연구기관은 그렇지 못합니다.

충분한 예산이 없기에 22년 이후 딥러닝 논문을 봐도

기업이 압도적으로 유리한 상황

노하우나 레이어 쌓는건 1도 공개하지 않고 파라미터가 수억GB에 데이터셋이 수백PB면 무조건 성능이 더 좋다는 식의 논문이 탑급이 되어버렸습니다.

국내 최고의 명문석학이라는 서울대 교수님들 역시 ㅠㅠ 결국은 논문지도를 어떻게해야할지부터 걱정하는 세상이 되어버렸습니다.

성능 = 규모

이걸 눈치빠른 엔비디아가 팔던물량 엮어서 병렬연산머신을 임대식으로 빌려주기 시작합니다.

분기별 매출은 수직상승하고, 동시에 이 cuda core가 필요하던 기업들의 납기는 점점 늦어지고 있습니다.

서두에 적었던 H100 6대 발주한거...

결국 올 상반기에 줄 수 있을지 불투명하다는 답변을 받았습니다 ㅠㅠ

마치 노보노디스크의 당뇨약이 부작용으로 다이어트효과가 검증된 후 인플루언서들의 웃돈구매로도 대기가 끝없이 쌓이듯

이 GPU도 돈이 있어도 살 수 없는 상황이 되어버렸습니다.

ㅠㅠ

작년 8월부터 노보노디스크나 엔비디아 대박나겠다 생각만 하고 손가락 빨고있던 주린이는 그냥 오늘도 웁니다 ㅠ