온디바이스 AI

*This review content is based on the report entitled "생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI" published by 삼정 KPMG

생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI - KPMG 한국

생성형 AI에게 펼쳐진 새로운 무대, 온디바이스 AI

 

*This review content is based on the report entitled "제3의 IT 혁명 디바이스 시대가 온다: 내 손 안의 AI, 온디바이스 AI" published by 삼일PwC경영연구원

‘제3의 IT혁명 디바이스 시대’가 온다 : 삼일회계법인

‘제3의 IT혁명 디바이스 시대’가 온다

---

요약

→ 온디바이스 AI란 서버나 클라우드에 연결할 필요 없이 기기 자체적으로 AI 모델을 수행하여 상요자 데이터를 수집하고 학습
→ AI 모델 분석 속도 향상될 것으로 기대
→ 외부 클라우드 및 데이터센터 이용 비용 감소 효과 기대 
→ 이용자의 개별 사용 데이터가 디바이스 외부로 나가지 않기 때문에 데이터 보안 우려 적음

---

AI 운영 패러다임의 변화

클라우드 - 엣지 - 온디바이스 AI 운영 방식의 변화

클라우드 AI

오픈 AI의 ChatGPT, 굴글의 Gemini, MS의 Copilot 등 생성형 AI 기반의 서비스는 대규모 언어 모델(LLM)을 기반으로 운영되며, 클라우드 시스템을 활용하고 있습니다. 클라우드를 기반으로 운영되는 AI는 다음의 프로세스를 따릅니다. 

1. 이용자가 사용하는 스마트 디바이스(노트북, 스마트 폰 등)를 통해 원하는 명령어를 입력하면 스마트 디바이스가 해당 데이터를 클라우드로 전달합니다.
2. 클라우드는 전달 받은 데이터를 클라우드 내의 프로세싱 역량을 활용하여 AI 모델의 분석 결과를 도출하고,
3. 이를 스마트 디바이스로 다시 전달하여 이용자가 원하는 결과값을 확인할 수 있도록 제공합니다. 

• 클라우드 AI의 주요 장점은 대량의 데이터를 효율적으로 처리할 수 있는 확장성, 인터넷만 연결되어 있으면 어디서나 접근 가능한 접근성, 필요한 자원에 대해서만 비용을 지불하는 비용 효율성, 최신 보안 업데이트를 유지하는 자동 업데이트가 있습니다. 
• 클라우드 AI의 주요 단점으로는 실시간 응답에 문제가 발생할 수 있는 지연 시간(다양한 사유의 latency가 존재), 민감한 데이터 노출 및 규제 준수 문제, 연결 불량 시 접근성이 저하되는 인터넷 의존성이 있습니다. 

우리는 클라우드 AI의 단점에 대해 잘 기억해둘 필요가 있습니다. 이는 온디바이스 AI의 부상 배경이 되기도 하며, sLLM/sLM에 대한 필요성이기도 합니다. 

엣지 AI

클라우드 AI와 함께 기존 AI 산업에서 많은 관심을 받은 AI 운영 방식으로 엣지(Edge) AI가 있습니다. 엣지 컴퓨팅에서 파생된 의미로 먼 거리에 위치한 클라우드 서버를 통한 데이터 통신보다 이용자와 더 가까운 곳에서 데이터를 처리하는 방식인 엣지 AI는 이용자와 인접한 장소에 엣지 서버를 두어 데이터를 처리하고 AI 모델의 운영을 통한 데이터를 송출합니다. 

Cloud - Edge - Device의 개념 도식화 (source: 제일기획)

 

엣지 AI는 데이터 이동 과정이 짧아지고 단순화되는 특성을 가지고 있습니다. 이로 인해 안정적인 시스템 운영과 빠른 데이터 처리가 장점으로 주목되고 있습니다. 보안 등 민감성이 높은 데이터를 처리하는 경우에도 개별 엣지 서버를 통한 데이터를 기록 및 처리한다는 특성 덕분에 클라우드 기반 방식보다 높은 보안 안정성을 보인다고 평가받습니다. 

그럼에도 여전히, 엣지 서버를 거쳐야 하기 때문에 클라우드 AI의 한계를 근본적으로 해결하지는 못한 상태입니다. 생성형 AI를 서비스로 대중화하기 위해서는 지연도 발생하지 않아야 하며, 개인적인 데이터 유출의 위험도 없어야 합니다. 

온디바이스 AI

온디바이스 AI는 서버나 클라우드에 연결할 필요 없이 모바일 기기 자체적으로 정보를 처리할 수 있다는 것을 의미합니다. 이 기술을 완벽하게 구현하기 위해서는 강력한 신경망 처리 장치(NPU) 성능이 필수적입니다. 

온디바이스 AI의 동작 원리 (source: upstage)

생성형 AI는 독창적 콘텐츠 생성 기능으로 많은 관심을 받았으나, 앞서 언급한 몇 가지 단점이 존재

클라우드 기반 데이터 송수신 과정에서 데이터 병목현상으로 인한 서비스 품질 저하, 고도화된 데이터 센터를 운영하는데 드는 막대한 비용, 완벽하지 않은 데이터 보안 기술, 에너지 소모량 심화

---

이러한 일부 단점 해결을 위해 최근에는 급증한 데이터 처리량 감소, 네트워크 지연 최소화, 데이터 보안 강화 등에 대한 대안으로 '온디바이스 AI'가 주목받게 되었습니다. 

온디바이스 AI의 특징 및 장점

• 개인정보 보호 및 데이터 보안 강화
  • 온디바이스 AI는 기기 자체에서 데이터를 처리하도록 설계되었기 때문에 민감한 데이터를 외부 서버로 전송할 필요가 없으며, 각종 보안 위협으로부터 데이터를 안전하게 보호할 수 있습니다. 사용자는 금융 및 의료 기록과 같은 개인 정보를 보호할 수 있고, 조직은 기업 기밀 정보에 대한 무단 액세스를 방지할 수 있는 장점이 있습니다.
  • 상황에 따라 필요한 데이터만 선별적으로 데이터센터에 전송하거나 민감한 부분을 사전에 제거하는 등 데이터 자체의 보안성 강화에 기여합니다. 
• 빠른 서비스 제공 및 데이터센터 운영비와 에너지 소모량 절감
  • 또한 원격으로 데이터를 처리할 때 심각한 병목 현상이 될 수 있는 데이터 전송과 관련해 속도가 지연되지 않기 때문에 데이터를 더욱 빠르고 비용 효율적으로 처리할 수 있습니다. 따라서 애플리케이션의 응답 속도가 빨라지고 전반적인 사용자 경험이 향상됩니다. 또한 온디바이스 AI는 값비싼 클라우드 인프라가 필요하지 않으며 인터넷을 통해 전송해야 하는 데이터의 양을 줄여주고, 에너지 소모량을 효과적으로 줄일 수 있어 많은 조직에서 비용 효율적인 솔루션이 될 수 있습니다.
• 자유로운 작동 환경으로 접근성 확대
  • 온디바이스 AI는 오프라인으로도 활용 가능하다는 점 또한 큰 장점입니다. 클라우드 기반 AI와 달리 인터넷 연결 없이도 머신러닝 작업을 수행할 수 있는 온디바이스 AI는 사용자가 서비스를 이용하고 싶을 때 언제 어디서나 이를 활용할 수 있도록 돕습니다. 이러한 특징으로 인해 다양한 디바이스와 애플리케이션에 적용할 수 있어 접근성을 확대할 수 있습니다. 예를 들어 인터넷이 없는 환경에서도 실시간 번역 같은 작업이 가능해집니다. 
• 초개인화 수요 대응
  • 사용자는 개인의 취향과 일상에 따라 실시간으로 초개인화된 서비스를 경험할 수 있습니다. 물론 사용자의 데이터 프라이버시와 보안은 보장됩니다. 예를 들어, 사용자가 오늘은 어떤 옷을 입어야 할지 조언을 요청하면 온디바이스 LLM이 실시간 날씨와 사용자의 평소 패션 취향을 바탕으로 완벽한 스타일을 추천하는 것이 가능해집니다.

대형 AI 모델 vs. 소형 AI 모델과 Cloud AI vs. On-device AI

Model 측면: 대형 AI 모델 vs. 소형 AI 모델

대형 AI 모델들이 만들어내는 결과물의 수준은 많은 사람들의 감탄을 불러왔습니다. 그러나 이런 대형 AI 모델을 운영하는 과정에는 큰 문제들이 있습니다.

• 과다한 전력 소비: 대형 AI 모델을 운영하기 위해서는 어마어마한 양의 전기를 필요로 합니다. 
• 특수 하드웨어 필요: AI 전용 반도체를 필요로 합니다. 
• 거대한 데이터센터 확보: 대형 AI 모델을 운영하기 위해서는 방대한 양의 데이터를 저장, 처리할 수 있는 인프라를 필요로 합니다. 

이러한 인프라 확보 부담이 부각되면서 AI 서비스가 다양한 환경에서 활용될 수 있도록 하기 위하여 다른 구조의 AI 모델을 확보하는 것에 대한 관심도가 증가했습니다. 이러한 상황에서 소형 AI 모델이 등장했습니다. 

• 크기: 대형 AI 모델이 지속적으로 파라미터 수를 확대하며 기능을 강화했던 것과 달리 모델의 크기를 상징하는 파라미터 수를 일반적으로 340억 개 이하 수준으로 구성합니다. 
• 기능: 대형 AI 모델만큼 다재다능하진 않지만, 특정 작업에 특화되어 있습니다. 
• 효율성: 사전 학습된 데이터를 기반으로 생성형 AI의 주요 기능을 구현할 수 있습니다. 

소형 AI 모델은 대형 AI 모델의 모든 기능을 따라할 수는 없지만, 더 적은 자원으로 효율적으로 작동할 수 있다는 장점을 가지고 있습니다. 이는 더 다양한 환경과 기기에서 AI를 사용할 수 있도록 도와줄 겁니다. 

구분	대형 AI 모델	소형 AI 모델
주요 형태	대규모 언어 모델(LLM)	소형 언어 모델(sLM, sLLM)
파라미터 수	1천 억 개 이상	10억 ~ 수백 억 개 수준
사용 목적	다양한 태스크를 수행하는 범용 AI	특정 태스크에 특화된 목적 기반형 AI
주요 특징	- 대용량의 데이터를 학습하고 다수의 파라미터를 기반으로 운영 - 모델의 규모가 크기 때문에 태스크 수행을 위해 필요한 인프라의 수준이 높음 - AI 서비스 운영 과정에서 발생하는 비용이 크며, 결과물 도출 속도가 비교적 오래 걸림	- 대형 AI 모델이 학습한 데이터를 기반으로 특정 태스크에 특화된 형태로 조정 - 작은 규모의 모델로 운영되어 개별 태스크 수행을 위해 필요한 인프라의 수준이 높지 않음 - AI 서비스 운영 비용이 비교적 저렴하며, 결과물 도출 시간이 빠른 편임

Infra 측면: Cloud AI vs. On-device AI

AI 모델이 하는 역할이 대형과 소형으로 나뉘어졌다면, 온디바이스 AI 운영을 위해 달라지는 부분은 컴퓨팅 인프라입니다. 학습과 추론이 모두 클라우드 서버에서 이루어졌던 기존과 다르게, 소형 AI 모델이 서비스 특화된 형태로 구성되어 대형 AI 모델과 함께 운영되기 위해서는 클라우드와 디바이스의 하이브리드 형태로 구성됩니다. 

• 소형 AI 모델: 이용자가 사용하는 서비스의 운영을 담당하여 결과물을 도출하기 위한 분석을 진행합니다. 
• 대형 AI 모델: 전반적인 AI 모델의 성능을 강화하는 역할을 하며, 소형 AI 모델은 대형 AI 모델을 통한 업데이트를 지속적으로 받으며 성능을 향상시키는 역할을 맡습니다. 

즉, 클라우드와 데이터센터는 학습용으로 대형 AI 모델의 성능을 강화하기 위해 활용되며
이를 기반으로 파생된 소형 AI 모델을 탑재한 온디바이스 AI는 내부에서 추론 과정의 필수적인 태스크 만을 수행하여 효율성을 강화합니다.  

클라우드 기반 AI와 온디바이스 AI의 구조

 

스마트폰을 필두로 PC, 가전, 자동차, 보안, 헬스케어 등 실생활의 다양한 분야로 확산되며 커스터마이징된 AI 칩 수요도 동시에 급증할 것으로 예상되는 등 온디바이스 AI 시장의 급성장은 관련 생태계 확장과 도약으로 이어질 전망입니다. 

• AI의 스마트폰 침투율 '24년 9% -> '27년 39%
• AI의 PC 침투율 '24년 11% -> '27년 53%
• '24~25년 시작된 온디바이스 AI 관련 제품들이 '26~27년부터는 본격 상용화 될 전망

따라서, 온디바이스 AI 생태계를 둘러싼 밸류체인의 확장은 당연한 결과

 

그 동안 AI 학습에 대한 기업 투자가 집중되어 엔비디아를 중심으로 한 상품들만 대거 출시되었다면, 향후에는 기술과 자본적 우위를 점하고 있는 클라우드 AI에 대한 투자와 더불어, 이제 막 개화하기 시작한 온디바이스 AI 기업에 대한 투자도 커질 것으로 예상됩니다. 

온디바이스 AI vs. 클라우드 AI 밸류체인

AI 반도체는 데이터를 처리하는 속도(Latency), 처리할 수 있는 데이터 양(Throughput), 전달하는 데이터의 양(Bandwidth) 측면에서 높은 성능을 보이고 있어 AI 시대의 핵심 자원으로 평가됩니다. 

 

다음 포스팅에서는 AI 반도체 산업에 대한 현황과 미래를 살펴보도록 하겠습니다.