[초거대 모델 기술자문 전문] LLM(거대언어모델) 을 구글 트랜스포머 모델로 구현시 텐서플로우 환경에서 세부 핵심이슈 처리 노하우 소개 ...

초거대 모델 기술자문 전문 딥네트워크  장석원 입니다 ...   초거대 언어 모델  ChatGPT  의 상용화 준비를 하는것에 나도 3 년전에는 약간 막연하게 접근했다 ...  사실  ChatGPT 같은 초거대 언어 모델의  구현 노하우를 저 같은 일인기업이 파악이 가능하기나 하냐 라고 의문을 가지는 기업 관계자가 많을것 입니다 ...    제가 그동안 한 3 년 이상 LLM(거대언어모델)관련 해외 논문을 3 년 동안 매일 매일 하루에 두편씩 세부 검토 분석을 해왔읍니다 ...  이렇게 한 3 년 논문을 검토 분석하다 보니 초거대 모델 구현시 글로벌 기업들이 관련 기술이슈를 어떤것들을 고민하는지를 알게됬읍니다 ...   제가 그동안 3 년동안 논문을 검토 분석한 내용은 대략적으로 딥러닝 분야 구현 설계 핵심 이슈 한 100 가지 정도를 세심히 공부를 했다는것 입니다 ...  이것이 바탕이 되서 맨 처음에는 LLM(거대언어모델) 설계 구조를 분석했읍니다 ...   이렇게  LLM 의 설계구조가 파악이 어느 정도 되다 보니  FaceBook 같은 경우  엔비디아 A100 GPU 를 16000 대를 클러스터링 설계 구축을 한것으로  LLM 을 학습 진행을 했다고 하구요 ...   이렇게 막대한 인프라 비용이 들 경우 이윤 확보가 어려워질수 있어서  LLM 의 파라미터를 줄이면서도 성능을 유지하는 연구들을 하길래 이쪽 논문들을 상당 부분 살펴 봤읍니다 ...  이것도 나름 어느 정도 파악이 되길래 모델 경량화를 아예  온 디바이스 AI 까지 구현 하려면 어떤것을 준비해야 가능한지도 논문들을 검토 분석을 했구요 ...   경량화 구현도 Quantization 설계와 지식증류 기법으로 상당 부분 처리가 가능하다는것도 파악이 가능했읍니다 ...  Quantization 부분은 온 디바이스 AI 설계시 SOC 내에 집적화 설계가 반드시 필요하고 이미 엔비디아는 H100 GPU 에 FP8 기능 구현을 이미 집적화시켰구요 ...  그럼 딥네트워크가 여기까지만 검토 분석을 했냐 ....   이게 다 가 아닙니다 ...   LLM 을 구현하거나 sLLM 구현시 텐서플로우 환경에서 구글 트랜스포머 모델의 여러 레이어의 각각의 부분의 커스토마이징시 어떤 이슈를 고민해야 하는지 또 어떻게 이 이슈를 해결 가능한지를 검토 분석이 되있읍니다 ...     저는 영어회화는 안되지만 영문 이메일은 주고 받을수 있읍니다 ...   국내외 글로벌 기업의 AI 책임자분들의 세심한 검토 요청드립니다 ...   물고기를 잡는 방법을 터득했으니 당장 지금 잡은 물고기가 없다고 해서  딥네트워크의 LLM 과  sLLM  기술력을 얕잡아보지 마시길 부탁드립니다 ... 

딥네트워크     장석원    010 3350 6509     sayhi7@daum.net