삼성이 갤럭시 24 폰에 음성 통번역을 구글 트랜스포머 모델로 상용화성공하는것을 보면서 나도 지금 부터는 본격적으로 구글 트랜스포머 모델을 파야하겠다라고 결심했다 ...

올해 내 나이가 60 이 됬다 ...   IT 분야 종사한지 30 년 이다 ...  쉽지않은 세월 이었다 ...  오늘 지금은 밤 12시 50 분이다 ...  요즘 챗 GPT 가 나온지 1 년이 넘으면서 이제 챗 GPT 가 인간을 위협하는것을 걱정할 정도로 인공지능 기술이 발전했다 ...  원래 챗 GPT 의 모체가 되는 기술은 GPT-3 기술이다 ...  삼성전자도 일주일전쯤 갤럭시 24 폰에 온 디바이스 AI 를 탑재해서 10 개국어 통변역 기능을 상용화했다고 한다 ...   이제 구글 트랜스포머 모델이 스마트폰에서 동작하는것이 가능한 시대가 됬다 ...  나도 구글 트랜스포머 모델 논문 분석한지는 4 년도 넘는 세월동안 분석 검토를 계속 했었다 ...  4 년 넘는 세월동안 구글 트랜스포머 모델을 분석하면서  아직까지는 세상에 본격적으로 나오기는 이른가 라는 생각을 했었기에 4 년 동안 일주일에 한 6 - 7 시간 정도를 시간 투자를 했었다 ...   이제 삼성이 갤럭시 24 폰에 음성 통번역을 구글 트랜스포머 모델로 상용화 성공하는것을 보면서  나도 지금 부터는 본격적으로 구글 트랜스포머 모델을 파야하겠다라고 결심했다 ...  구글 트램스포머 모델을 판다고 하면 기본적으로 검토분석해야 할 딥러닝 모델이 GPT-3 이다 ...   GPT-3 모델은 학습 데이터 갯수가 3000 억개 이다 ...   여기서 부터가 출발점이다 ...   그리고  GPT-3 모델을 학습시키려면 가장 기본으로 엔비디아 A100 GPU 를 100 개 이상 준비해야 한다 ...  요즘 엔비디아 GPU 는 부르는게 값이다 한장에 5000 만원 이상이라고 한다 ...   그렇다면 나는 GPT 모델을 학습시키기 위한 준비작업으로 어떤것을 해야할까 ?  GPT-3 모델은 수백장의 GPU 에서 동작하므로 구글 트랜스포머 모델을 어떻게 설계해야  GPU 수백장에서 3000 억개의 학습 데이터가 한쪽에 치우치지 않고 GPU 를 어떤식으로 수백장을 동작시킬수 있는지 이런것의 파악이 가장 중요하다 ...  내가 그동안 4 년여 기간 동안 이런 사항들의 준비는 어느정도 되 있다 ....  삼성이 갤럭시 24 폰에 통번역 기능을 집어 넣을때 가장 핵심 기술이 지금 말했던 이게 가장 핵심이다 ...  이게 기본이 되서 인공지능 핵심 칩셋인 NPU 설계가 가능해진다 ...    이게  NPU 칩 설계의 기본이 되는 사항이다 ...   NPU 칩 설계를 하려면 구글 트랜스포머 모델의 경량화 설계관련 딥러닝 모델의 세부 검토분석이 당연 필요하다 ...   나는 구글 트랜스포머 모델로 음성언어 통번역만 검토 분석한게 아니고 초거대 언어모델인 LLM 이슈도 검토분석하고 있다 ...  챗 GPT 도 기본이 되는게  GPT-3 PreTrained Model 을 기반으로 설계했다고 하고 그래서 GPT-3 Pre-Trained Model 의 구조 및 학습 데이터 설계 그리고 대규모 GPU 로 학습시키는 노하우 뭐 이런것들이 준비가 안됬다면 모래성으로 집을 지은것과 같다 ...  나도 GPT-3 학습 시키는 준비는 약 70 % 는 준비가 된것 같다 ...   이런것들 분석하면서 어느것에서 돈이 되는 포인트가 되는지 이런 생각하면서 요즘 분석을 하고 있다 ...   경기가 요즘 얼어 붙어서 일꺼리 의뢰가 아예 없다 ...     나와 생각이 통하는 기업과 애기해 보고 싶다 ...    요즘은 정보 공유가 10 년전보다 100 배 이상 많아 졌기에 나같은 일인기업도 대기업에 비벼볼수 있는 사업 기술 노하우 확보가 가능한데 이런것 이해 못하시는 경영자분들도 상당히 많다 ...   관심있으신 분들 연락 부탁드립니다 ....   

딥네트워크  장석원 /  HP 010 3350 6509  /  이메일  sayhi7@daum.net