커뮤니티
▼▲
  • 최신글
  • 자유게시판
  • 정치자유게시판
  • 진보공감게시판
  • 보수공감게시판
  • 유머/감동
  • 신입게시판
> 자유게시판 ▼▲
  • 자유게시판
  • 정치자유게시판
  • 진보공감게시판
  • 보수공감게시판
  • 유머/감동
> 분류
▼▲
  • 일반
  • 말머리

구글 AI 알고리즘 타이탄 공개 ㄷㄷ 4
아세요모르세요 2025-01-21 03:35   조회 : 3104

  • 구글, 긴 문맥 처리 비용 줄이는 아키텍처 공개..."대규모 정보 입력으로 RAG보다 유용"
  • 대형언어모델(LLM)이 추론할 때 메모리와 계산 비용을 크게 증가시키지 않으면서도 더 많은 정보를 저장할 수 있게 해주는 새로운 신경망 아키텍처가 나왔다. 이 아키텍처는 긴 텍스트에서 중요한 정보를 찾아 저장하는 데 최적화돼 있다. 구글은 16일(현지시간) 기존 '트랜스포머' 기반 LLM에 ‘신경 기억(neural memory)' 레이어를 추가, 모델이 단기와 장기 기억 작업을 모두 효율적으로 처리할 수 있도록 설계된 새로운 신경망 아키텍처 ‘타이탄(Titans)’에 관한 논문을 아카이브에 게재했다.트랜스포머 아키텍처는 토큰 간 관
https://www.aitimes.com/news/articl...

 

현재 agi를 위해서 기억력이 부족한 ai의 특성을 보완하기 위해

 

파라미터와 메모리만을 엄청나게 늘리면서 엔비디아와 hbm만이 세상을 지배하는 시대가 되었는데

 

새 모델이 상용화되면, 규모의 게임에서 알고리즘의 게임으로 바톤 전환이 되는것

 

즉, 파라미터 1000조를 향해 달려가는 게임이 아니고

 

cpu gpu npu 등 모든 자원을 활용해 더 소규모로 지속가능한 agi를 개발하는데 알고리즘에 집중할수가 있어보임

 

영구적 메모리 개념의 도입으로 대화가 엄청 길어지거나 나중에 대화하더라도 자연스럽게 대화의 지속이 가능함

 

트랜스포머만의 강점과 타이탄의 강점이 조화를 이루며 지속될 건데.... 타이탄 알고리즘이 향후 어떻게 발전하느냐에 따라서 갈림

 

어차피 이것도 기본연산도구는 gpu이고 이 알고리즘이 지배하게 되면 전용 하드웨어도 나올수 있겠는데......

 

Agi에 한걸음 더 다가선 느낌

 

기존의 트랜스포머 ai방식은 agi와는 거리가 있어보였음

 

gpu와 dram의 규모를 더 줄일수 있다면 노트북에서도 llm이 빠르게 동작가능할수도....

 

0 추천하기 다른의견 0 |
목록보기 코멘트작성 코멘트4
크리테리 다른의견 0 추천 0

https://youtu.be/qoKggLbjkGU?si=8z2FY_QSMHMwxMAr

 

요기 설명 잘되어있네요 

| 덧글 점아이콘
  1. 댓글주소복사
아세요모르세요 다른의견 0 추천 0
이분은 잘알고 설명하는게 아닌거 같더라구요, 소스를 누가 제공해주면 읽어주는 역할만 하시는듯
* | 덧글 점아이콘
  1. 댓글주소복사
florrie 다른의견 0 추천 0

트랜스포머 2.0

| 덧글 점아이콘
  1. 댓글주소복사
아세요모르세요 다른의견 0 추천 0
구글 TPU 떡상각인거 같은데 ㅋㅋㅋ GPU 안쓴다 쪽으로 연구한듯
* | 덧글 점아이콘
  1. 댓글주소복사

욕설, 상처 줄 수 있는 악플은 삼가주세요.