목록2024/02 (22)
딥 네트워크 - 딥러닝 모델 분석/네트웍 통신/카메라 3A 튜닝 분야
일인기업 딥네트워크의 딥러닝 기반 광학문자 인식 솔루션 이슈 분석 내용 입니다 ... 안녕하세요. 저는 일인기업 딥네트워크의 대표이자 개발총괄인 장석원입니다. 저는 딥러닝 기반 광학문자 인식 솔루션을 제공하는 회사를 운영하고 있습니다. 광학문자 인식이란 사람이 쓰거나 인쇄한 문서, 촬영된 사진이나 스캔된 이미지 내의 문자를 인식하여 기계가 읽고 편집할 수 있는 디지털 텍스트로 변환하는 기술을 의미합니다. 저는 이러한 기술을 다양한 분야에 적용할 수 있는 솔루션을 개발하고 있습니다. 저는 최신의 딥러닝 기술인 ViT 모델을 광학문자 인식쪽 이슈를 분석하였습니다. ViT 모델은 이미지를 고정 크기의 패치로 나누고, 각 패치를 임베딩 벡터로 변환하여 Transformer의 입력으로 사용하는 모델입니다. Tra..
미국의 글로벌 빅테크 대기업들은 최근 sLLM (소형 언어 모델)과 LLM (대형 언어 모델)을 통한 인공지능 기술 개발에 큰 관심을 가지고 있습니다. 이 두 가지 유형의 언어 모델은 각각 다른 특징과 장점을 가지고 있습니다. LLM (대형 언어 모델) 이슈: 대규모 파라미터: LLM은 매우 큰 파라미터 세트를 가지고 있으며, 이는 높은 성능을 제공하지만 훈련 및 운영 비용이 많이 듭니다. 오픈소스 공개: LLM은 주로 대기업에서 개발되며, 오픈소스로 공개되지 않는 경우가 많습니다. sLLM (소형 언어 모델) 이슈: 경량화: sLLM은 LLM에 비해 작은 파라미터를 가지고 있습니다. 이로 인해 훈련 및 운영 비용이 낮아집니다. 오픈소스 공개 및 무료 사용: sLLM은 오픈소스로 공개되어 누구나 무료로 ..
BLDC Motor 제어 전문 딥네트워크 사업화 내용 소개딥네트워크는 PMSM 모터를 제어하는 획기적인 솔루션을 제공하는 일인기업입니다. 딥네트워크는 TI의 모터제어 개발 보드를 사용하여 FOC 알고리즘과 TI의 InstaSPIN-FOC 소프트웨어 라이브러리를 기반으로 한 펌웨어 설계 세부 검토 분석을 수행하였습니다. 저는 모터제어시 TI 사의 FOC 알고리즘을 다음과 같이 적용합니다 ....FOC 알고리즘은 Field Oriented Control의 약자로, 모터의 자기장의 크기와 방향을 정밀하게 제어하여 토크를 안정적이고 효율적으로 제어하는 기법입니다. FOC 알고리즘 관련 제가 확보한 기술을 소개드리겠읍니다 ... 엔코더 기반 FOC 모터제어 펌웨어 구현 세부 노하우를 보유하고 있읍니다 ....
BLDC Motor 제어 전문 딥네트워크 사업화 내용 소개딥네트워크는 PMSM 모터를 제어하는 획기적인 솔루션을 제공하는 일인기업입니다. 딥네트워크는 TI의 모터제어 개발 보드를 사용하여 FOC 알고리즘과 TI의 InstaSPIN-FOC 소프트웨어 라이브러리를 기반으로 한 펌웨어 설계 세부 검토 분석을 수행하였습니다. 저는 모터제어시 TI 사의 FOC 알고리즘을 다음과 같이 적용합니다 ....FOC 알고리즘은 Field Oriented Control의 약자로, 모터의 자기장의 크기와 방향을 정밀하게 제어하여 토크를 안정적이고 효율적으로 제어하는 기법입니다. FOC 알고리즘 관련 제가 확보한 기술을 소개드리겠읍니다 ... 엔코더 기반 FOC 모터제어 펌웨어 구현 세부 노하우를 보유하고 있읍니다 ....
제 나이 올해 60 입니다 ... IT 분야 일 한지가 30 년 입니다 ... 최근에 미국이 국가안보 기술로 애기했던게 반도체 설계/제작 기술이고 또 하나가 인공지능 기술 입니다 ... 저는 최근 한 3 년 이상을 딥러닝 논문 이슈를 계속 공부해왔읍니다 ... 이렇게 한 3 년 딥러닝 논문 이슈를 공부하다 보니 딥러닝 비젼 설계쪽 기술도 살펴봤고 또 하나가 초거대 모델쪽 입니다 ... 최근 초거대 모델을 살피다 보니 비젼쪽 기술인 광학문자인식(OCR 기술) 노하우가 어떤식으로 가능하겠다가 눈에 보이더라구요 ... 광학문자인식쪽은 네이버도 오래전부터하는것 같더군요 ... 이제 본론으로 들어가자면 초거대 모델 기술의 기반기술이 구글 트랜스포머 딥러닝 모델 설계 기술이 그 근원 이거든요 ... 구글 트랜스포머..
트랜스포머 모델은 문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망입니다. 트랜스포머는 어텐션 (attention) 또는 셀프어텐션 (self-attention)이라 불리는 수학적 기법을 응용해 서로 떨어져 있는 데이터 요소들의 의미가 관계에 따라 미묘하게 달라지는 부분까지 감지해내죠. 트랜스포머는 자연어 처리뿐만 아니라 이미지, 비디오, 음성 등 다양한 데이터를 처리하는 데에도 사용됩니다. 트랜스포머 모델이란 무엇인가? (1) | NVIDIA Blog AI 분야의 혁신에 함께하고 싶다면 트랜스포머(transformer)에 주목하세요. blogs.nvidia.co.kr 일인기업 딥네트워크는 트랜스포머 모델을 텐서플로우 개발환경으로 개발하고 있습니다. 텐서플로우는 구글이 ..
일인기업 딥네트워크: 경량화 초거대모델의 선두주자 딥네트워크는 초거대모델의 경량화 세부원리 및 그 설계구조 분석을 전문으로 하는 일인기업입니다. 저희는 대규모의 텍스트 데이터를 기반으로, 효율적이고 강력한 언어 모델을 구축하고, 다양한 응용 태스크에 적용하는 방법을 연구하고 있습니다. 저희는 메타의 LLaMA 논문과 같은 경량화 초거대모델을 설계하고 훈련하는 방법에 대해 1년 반 동안 연구하였으며, 70억 개, 130억 개, 700억 개의 파라미터를 갖는 세 가지 크기의 모델을 구축 준비에 관련한 세부 정보를 확보하는데 성공했습니다. 딥네트워크의 기술력 딥네트워크의 기술력은 다음과 같습니다: 데이터셋의 구축: 저희는 공개적으로 이용할 수 있는 데이터셋을 수집하고 전처리하는 방법을 분석하고 있습니다. 저희..
회사 소개일인기업 딥네트워크는 STMH743 CPU Evaluation Board 의 커스토마이징 전문 업체입니다. STMH743 CPU Evaluation Board 는 STMicroelectronics 에서 제공하는 Arm ® Cortex ® -M7 기반의 STM32H743XI 와 STM32H753XI 마이크로컨트롤러를 위한 고성능 개발 플랫폼입니다. 이 보드는 다양한 주변 장치들을 지원하며, CubeMX IDE 개발 툴을 통해 손쉽게 Configuration 설정을 할 수 있습니다.일인기업 딥네트워크는 STMH743 CPU Evaluation Board 의 SDK 의 SDK 구성요소 중에서 다음의 구성 요소들을 커스토마이징하여 고객의 요구에 맞게 제공할 수 있습니다.MIPI-CSI Camer..
딥네트워크의 광학문자 인식 OCR 딥러닝 개발 기술력 소개 딥네트워크는 광학문자 인식 OCR 딥러닝 논문 분석쪽에서 선도적인 일인기업입니다. 딥네트워크는 최근에 Vision Transformer라는 새로운 딥러닝 모델을 OCR에 적용한 논문들을 분석했읍니다.. Vision Transformer는 이미지를 작은 패치들로 나누고, 이들을 순차적인 토큰으로 취급하여 트랜스포머라는 자연어 처리 모델에 입력하는 방식입니다. 이를 통해 이미지의 전역적인 특징과 문맥을 잘 파악할 수 있습니다. 딥네트워크의 기술력은 다음과 같은 세 가지 핵심에 기반합니다. 1. Vision Transformer를 이용한 문자 검출 및 인식 딥네트워크는 Vision Transformer를 OCR에 적용하기 위해, 두 가지 방법을 제안하..
딥네트워크는 GPT-3.5 초거대 모델 관련 세부 설계 구조에 대한 전문적인 분석과 검토를 주로 진행해 왔습니다. 저희 회사는 직접적인 딥러닝 학습 구현 작업 경험은 없지만, 해당 논문의 핵심 설계 구조를 세부적으로 분석하고 검토하는 데 전문성을 가지고 있습니다. 이러한 전문성은 2년 이상의 연구와 경험을 바탕으로 하고 있습니다. GPT-3.5 초거대 모델은 자연어 처리(NLP) 분야에서 가장 강력하고 복잡한 모델 중 하나입니다. 이 모델은 수백억 개의 파라미터를 가지고 있으며, 이를 통해 사람처럼 자연스럽게 대화하고, 복잡한 문제를 해결하며, 창의적인 내용을 생성할 수 있습니다. GPT-3.5 초거대 모델관련 논문의 핵심 설계 구조는 다음과 같습니다: 트랜스포머 아키텍처: GPT-3.5 초거대 모델은 ..
내 나이 올해 60 이 됬다 ... IT 업계쪽 일을 한지가 30 년 이다 .... 나는 요근래 3 - 4 년은 딥러닝 비젼쪽 / 초거대 모델쪽 국내외 논문들을 살펴 보고 있다 ... 이런저런 애기는 다 빼고 요즘 가장 큰 이슈가 되고 있는 삼성 스마트폰에 온 디바이스 AI 가 탑재됬다는것은 이제 다 알것 같다 ... 삼성 스마트폰에서 온 디바이스 AI 가 가능하려면 스마트폰에 NPU 가 탑재되야 가능하다 ... 나는 초거대 모델 이든 뭐든 딥러닝 경량화 구현 논문을 최소 한 1 년은 살핀것 같다 ... 초거대 모델은 학습 및 추론시 인프라 비용이 만만치 않아서 이를 최소화해서 이윤을 발생시키기 위해 모델 경량화가 진행되고 있다 ... 나도 이쪽으로 논문을 살핀지 4 년이다 ... 물론 그동안 딥러닝만 ..
반도체 공정중 원자층 증착(Atomic Layer Deposition, ALD)의 핵심 원리를 이해하는데 성공했다 ... 나름 심도있게 파악 성공했읍니다 ... 믿거나 말거나 ... 딥네트워크 장석원 010 3350 6509 sayhi7@daum.net
OpenAI 가 발표한 Text To Video 의 SORA 모델의 세부설계 구조와 원리 파악에 성공해 기분 좋다 ... 그동안 디퓨젼 모델 도 분석을 했던게 큰 도움이 된것 같다 Sora는 트랜스포머 아키텍처를 기반으로 하며, 비디오와 이미지를 패치라는 작은 데이터 단위로 표현한다. 이를 통해 다양한 길이, 해상도, 종횡비를 가진 시각 데이터에 대해 효율적으로 학습할 수 있다. Sora는 DALL-E의 리캡션기법을 사용하여 생성된 비디오에서 텍스트 프롬프트를 더 잘 따르도록 한다. 리캡션기법은 시각적 훈련 데이터에 대해 설명력이 높은 캡션을 생성하는 방법이다. 그리고 Text to Image Model 세부 구조 분석이 됬던 부분이 Sora Model 이해하는데 도움이 된것 같다 ... Text to ..
저는 그동안 4 년 가까이 초거대 모델 설계 구조를 제시한 논문들 세부 분석 작업을 했었읍니다 ... 나름 초거대 모델 구조 설계의 대표적인 해외 대기업의 논문의 핵심 아이디어가 무었인지 파악하려고 노력했던것 같읍니다 ... 딥러닝 공부도 기반 지식들을 어느 정도 준비가 된 상태라야 이런 논문의 핵심 아이디어도 눈에 보이는것 겉읍니다 ... GPT-3.5 의 핵심 설계 아이디어가 무었인지 파악하는데 주력했고 나름 제 판단으로는 이 정도면 꽤 핵심에 접근했다라고 저는 판단되거든요 ... GPT-3.5 도 그 주변 논문들이 굉장히 많구요 ... GPT-3.5 발표 훨씬 그 이전에 초거대 모델의 각종 아이디어 논문들이 몇년간 발표되서 제시됬던 핵심 아이디어 기반으로 구성된다는것을 파악할수 있었다 ... 내가 ..
STM32H743 과 Nordic nRF52840 펌웨어 개발전문 일인기업 딥네트워크 장석원 입니다 ... STMH743 CPU 펌웨어의 경우 MIPI-CSI Camera 부분 / USB Host/Device 송수신 부분 / SD Card 저장 부분 / Ethernet / WIFI 네트웍 송수신 부분 / LTDC TFT-LCD 부분 / MIPI-DSI TFT-LCD 부분 의 개발을 CubeMX IDE 개발 툴을 사용해서 각각의 부분의 Configuration 설정 노하우를 확보하고 있고 이를 바탕으로 고객사의 세부사양을 근거로 펌웨어 커스토마이징 개발이 가능 합니다 .... Nordic nRF52840 펌웨어 의 경우 Nordic nRF52840 SDK 소스에 블루투스 프로토콜 스텍의 세부 구현 소스가 ..
내가 그동안 초거대 모델에 대해 여러 글을 썼었다 .... 오늘은 요즘 온 디바이스 AI 의 이슈인 초거대 모델 경량화 에 대해 조금 이야기 하려 한다 ... 초거대 모델 경량화가 되야 NPU 칩도 개발이 가능하기 때문이다 .... 뭐든지 알면 쉽고 모르면 어렵듯이 초거대 모델 경량화도 마찬가지인것 같다 ... 경량화 논문을 한 4 - 5 달 찾아보니 감이 오는것 같다 ... 글로벌 대기업들의 경량화 논문을 살피면서 이런것에서 나도 실마리를 찾는것 같다 ... 사실 또 글로벌 대기업의 경량화 논문도 사실 그 전에 이미 발표됬던 발표된 딥러닝 모델 논문들의 핵심 아이디어에서 온것이구요 ... 나도 이렇게 글로벌 대기업들이 그동안 논문으로 발표했던 핵심 이슈 쫓아가기 바쁘다 ... 내가 할수 있는것은 여기까..
SAR 군사위성(합성개구 레이더) 동작 원리를 분석하고 있다 ... 최근 한 7 - 8 달을 합성개구레이더 (SAR : Synthetic Aperture Radar) 국내외 논문을 하루에 2 편 정도씩 세부 검토 분석을 매일 매일 꾸준히 하고 있다 ... 합성개구레이더 (SAR : Synthetic Aperture Radar)의 설계 구조 이론중 가장 대표적으로 인용되는 설계 구조 알고리즘이 Doppler Shifter 이론 이다 ... 합성개구 레이더에서 Doppler Shifter 이론이 어떤 설계 구조로 동작하는지 이해 하는데 8 달이 걸려 세부 노하우 파악에 성공했다 ... 이것의 확실한 이해 없이는 SAR 군사위성 설계 구조를 이해하는게 불가능하다 ... 이런 기술적 기반 기술들로 지상 또는 해..
GPT-3 사전학습 모델 구현 이해가 초거대 모델 구현의 기본중 기본이다 .... 어떤 동작원리와 설계 구조로 몇천억개의 학습데이터를 분산학습 및 병렬학습을 도대체 어떻게 구현했을까가 가장 궁금했다 ... 구글 텐서플로우 개발환경에서 딥러닝 분산학습과 병렬학습의 구현에 필요한 기술요소들의 지원이 되고 있고 한동안 이것의 세부 설계 방안에 대해 심도있게 분석도 했었다 ... 이것만 파악하면 초거대 모델의 사전 학습이 처리가 되느냐 하면 그건 아니다 ... 예를들어 클라우드 환경인 AWS GPU 서버들이 어떤 네트웍 통신구조를 가져야 수천억개의 학습 데이터의 분산 병렬 학습에 필요한 네트웍 통신이 가능할지 이런것을 구글 텐서플로우 개발 전문가들은 어떤식으로 처리를 했을지 그런것들의 검토 분석이 세부적으로 필..
OpenAI 가 핵심 사업 구조로 생각하는 GPT 이니셔티브 사업화에 내가 소기업 이지만 이런것을 목표로 분석작업을 해야할것 같읍니다 ... 다음에 설명하겠지만 커스토마이징 초거대 모델 개발을 위한 준비가 나의 공부 목표와도 일치하는것 같읍니다 ... 즉 초거대 모델의 분야 분야별 특성에 맞게 그 기능을 커스토마이징을 어떻게 구현 해야 가능한지 뭐 이런것들의 고민이 필요할것 같읍니다 .... OpenAI 는 다음과 같이 GPT 이니셔티브 사업화 를 애기합니다 ..... 사용자가 자신만의 ChatGPT 버전을 만들 수 있도록 지원하는 GPT 이니셔티브를 진행하고 있습니다. GPT 이니셔티브는 사용자의 개인 및 직업적 요구 사항을 더 잘 충족할 수 있도록 AI의 기능을 개선하는 것을 목표로 합니다. 딥네트워..
나는 꿈이 몇개 있다 ... 나는 70 년대 국민학교를 다녔을때 그때 흑백 TV 로 방송했던 만화영화 마징가 Z 라는것을 보면서 어린 나이에 생각했던것이 나도 커서 로봇 과학자가 되야겠다라고 생각했었다 ... 나 중학교때인가 600 만불의 사나이라는 미국 드라마도 흑백 TV 로 방송했었다 ... 이런것 보면서 로봇 이라는것에 관심을 가지기 시작했다 ... 이런 내가 올해 나이 60 이 됬다 ... 나는 그동안 인생동안 IT 분야 30 년 경험이 있다 ... 내 세대를 지내온 엔지니어들이 공통적으로 느끼는게 인터넷 세상이 본격적으로 나와서 각종 정보가 홍수를 이루는 시대가 된지 5 - 10 년 밖에 안된다 ... 인터넷 시대 전에는 이런 그급 정보가 주로 유명대 교수님 연구실이나 대기업 연구소 아니면 국영..
올해 나이 60 이 됬다 ... 대기업 연구소도 대학원 졸업하고 한동안 다녀보고 그동안 30 년 할 얘기가 참 많다 ... 인생에는 정답이 없는것 같다 ... 그동안 30 년은 그럭저럭 밥벌이는 했는데 문제는 지금 부터다 ... 나이 60 이니 이제 회사에 조인해 일하는것은 너무 힘들어졌다 ... 그래서 한 5 년전부터 매일 매일 하루에 최소 3 시간 이상을 글로벌 대기업에서 이슈화가 많이 되는 기술분야를 공부를 적극적으로 시작했다 ... 지금 생각하면 이렇게 5 년전에 공부를 시작한게 진짜 잘한 일이 됬다 ... 요즘 가장 뜨겁게 이슈화가 되는 기술분야인 인공지능 초거대 모델 개발을 주로 대기업들이 진행하고 있다 ... OpenAI 는 ChatGPT 개발 인프라 구축에 거의 1 조 를 썼다고 본것 같다..
인공지능 기술이 너무 빨리 발전하는통에 생각치도 못했던 일들이 가능해졌고 이로인해 세상이 급변 하는 시대에 살고있다 ... 내가 올해 나이 60 이다 .... 92 년 1 월에 대기업 연구소 입사했을때가 엇그제 같다 ... 대기업 연구소는 7 년만에 자의반 타의반으로 그만두었다 ... 90 년대말 / 2000 년초에는 초고속 인터넷이 보급되면서 웹 설계 기술인 프론트 엔드 설계 기술과 백 엔드 설계 기술로 웹 서비스나 회사 홈페이지 를 만들수 있으면 넉넉한 밥벌이가 됬던 시절이다 ... 이 시기에 네이버 와 다음도 대기업 경력자들이 창업했던 시기였다 ... 이때 나의 한계는 무었인가 하면 이 시기는 지금과는 달리 인터넷에 고급 기술정보가 거의 없어서 기술정보를 획득하기가 너무 힘들어서 나는 웹 서비스 설..