안녕하세요! 구독자 여러분, Product Advocate 정현지입니다💌

여러분의 많은 관심 덕분에 지난 수요일 진행된 ‘AI 딥-다이브: Superb AI의 ML 엔지니어가 처음 밝히는 모델 개발 비하인드’ 세션이 성황리에 마무리되었습니다!
비록 온라인이었지만, 여러분을 직접 만나 이야기를 나눌 수 있어 정말 즐거운 시간이었어요. (저만 그렇게 느낀 건 아니길 바라며... 😄) 참가자분들의 깊이 있는 질문과 활발한 참여 덕분에 훨씬 풍성하고 유익한 세션이 될 수 있었습니다.

“도대체 어떤 이야기들이 오갔을까?” 궁금하신 분들도 많으시죠?
걱정하지 마세요! 곧 ML 엔지니어 최상범 님의 발표 세션 영상이 Superb AI 유튜브 채널에 업로드될 예정이에요. 또한, 실시간 Q&A에서 오갔던 흥미로운 질문과 답변도 일부 정리해 Superb AI 블로그에 공유드릴 예정입니다. To Be Continued..!

지난 뉴스레터에서는 ML 시스템의 기술 부채(Technical Debt)에 대해 이야기했는데요.
오늘은 ML 시스템 배포 과정에서 필요한 실용적인 의사결정 방법을 소개합니다🙂
모델 추론 유형의 선택부터 서빙 플랫폼 구성까지, 실제 현장에서 고려해야 할 핵심 요소들을 함께 살펴보고, 마지막에 제시된 예제를 통해, 더 안정적이고 신뢰할 수 있는 고성능 ML 시스템을 설계하는 핵심 원칙에 대한 인사이트도 얻어가시길 바랍니다!

혹시 슈퍼브 인사이트 뉴스레터를 전달 받으셨다면 👉 여기 👈에서 구독하실 수 있습니다! 

*슈퍼브 인사이트 뉴스레터는 PC버전에 최적화되어 있습니다.

🌟 SUPERB Spotlight

ML 시스템 배포, 어디서부터 어떻게 결정해야 할까?
- 추론 유형부터 서빙 플랫폼까지, 배포 결정에 대한 실용적인 워크스루

ML 시스템은 학습된 모델을 실제 운영 환경(Production environment)에서 개발, 배포 및 유지보수하기 위해 구축된 포괄적인 인프라를 의미하죠. 모델이 실제로 수백만 명의 사용자에게 빠르고 안정적으로 예측을 제공하려면, 모델을 둘러싼 거대한 인프라, 즉 ML 시스템을 완벽하게 구축해야 합니다. 이런 모델을 개발하는 과정도 중요하지만, 배포(deployment) 단계에 이르면 누구나 복잡함을 느끼실 텐데요. 특히 실제 운영 환경에는 많은 변수가 존재하기 때문에, 훨씬 더 많은 실무적 선택이 필요합니다. 이번 아티클은 ML 시스템을 실제 서비스로 제공할 때 마주치는 핵심 의사결정 포인트를 단계별로 짚어봅니다.

추론(Inference)이란 훈련된 모델이 새로운 데이터에 대해 예측을 제공하는 과정입니다. 이러한 추론 유형은 모델이 언제, 누구에게 예측을 제공하느냐에 따라 크게 두 가지 방식으로 나뉘는데요.

1. 배치 추론 (Batch Inference)
대량의 데이터를 모아서 정해진 기간(예: 매일, 매주)에 한 번에 예측하고, 그 결과를 저장해 둡니다. 이러한 배치 추론이 적합한 경우는 즉각적인 응답이 필요 없는 경우인데요. (예: 다음 주 재고 수요 예측, 월말 고객 이탈 예측) 비용이 저렴하고, 컴퓨팅 자원을 효율적으로 사용할 수 있다는 장점이 있는 반면, 예측 결과가 최신 데이터 변화를 바로 반영하지 못한다는 단점이 있습니다.

배치 추론 아키텍처 

2. 실시간 추론 (Real-time Inference)
사용자가 요청하거나 데이터가 들어오는 즉시 밀리초 단위로 예측을 제공합니다. 장점으로는 최신 데이터를 반영하며, 사용자에게 즉각적인 피드백을 제공할 수 있지만, 높은 성능과 안정성을 위해 인프라 비용이 많이 들고 복잡합니다. 이러한 실시간 추론 유형은 다시 2가지로 나눌 수 있는데요.

• 스트리밍 (Streaming): 요청 없이도 데이터 흐름(센서 데이터, 클릭 스트림)에 맞춰 예측을 지속적으로 생성 (예: 금융 거래 사기 실시간 감지)

스트리밍 실시간 추론 아키텍처 

• 요청-응답 (Request-Response): 사용자의 요청(클릭, 검색 등)이 있을 때만 즉시 응답 (예: 쇼핑몰의 실시간 추천, 검색 결과 랭킹)

요청-응답 실시간 추론 아키텍처 

💻 2단계: 모델을 어디에 띄울까요? - 서빙 플랫폼(Serving Platform)  선택하기

ML 시스템의 서빙 플랫폼은 훈련된 모델을 운영 환경에 배포, 관리 및 실행하는 데 사용되는 인프라와 도구를 의미합니다. 모델이 실제로 돌아갈 환경, 즉 서빙 플랫폼을 선택하는 것은 비용, 시스템의 유연성, 제어 수준, 트레픽에 따라 달라집니다.

🛡️ 3단계: 시스템을 어떻게 무한 확장하고 보호할까요? - 확장성 및 신뢰성 챙기기

현재 상황에 맞는 배포 방법을 선택했다면, 모델이 안정적으로 예측을 제공하도록 시스템을 확장하고 장애에 대비해야 하는데요. ML 시스템에서 부하 분산, 장애 조치 전략을 사용한 수평적 확장에 대한 핵심 개념을 아는 것이 중요합니다.

1. 수평적 확장 (Horizontal Scaling)
수평적 확장은 작업 부화를 여러 인스턴스(머신이나 컨테이너)에 분산하는 것을 의미하죠.  단일 인스턴스 리소스를 늘리는 수직적 확장에 대비하여, 수평적 확장은 한 서버가 고장 나도 다른 서버가 작업을 이어받아 서비스가 중단되지 않도록 합니다(고가용성). 모든 추론에 필요한 작업이지만, 높은 처리량, 낮은 지연 시간의 머신 러닝 추론은 특히 이 접근 방식을 선호하게 됩니다.

수평 스케일링과 수직 스케일링의 비교

2. 부하 분산  장치, 로드 밸런서(Load Balancing)의 역할
수평적 확장으로 시스템에 인스턴스가 추가되면 이때, 들어오는 요청을 인스턴스에 분산하기 위해 '로드 밸런서'가 필요하게 됩니다. 아래 다이어그램은 ML 시스템에서 부하 분산을 위한 4가지 주요 전략을 보여줍니다.

ML 시스템의 부하 분산을 위한 4가지 주요 전략 

• 해시 기반 라우팅 (Hash-based routing, 왼쪽 상단): 모델 ID 또는 사용자 세션 ID를 사용하여 특정 모델에 대한 모든 요청을 모델이 호스팅된 인스턴스로 라우팅하여 콜드 스타트 시간을 줄입니다.

• 자원 기반 (적응형) 부하 분산 (Resource-based (adaptive) load balancing, 오른쪽 상단): 각 서버의 실시간 원격 측정 데이터를 사용하여 현재 CPU/GPU 사용률, 메모리 사용량 또는 큐 길이를 기반으로 지능적인 라우팅 결정을 내립니다. 이는 충분한 여유 자원이 있는 서버로 새 요청을 보냅니다.

• 예측 부하 분산 (Predictive load balancing, 왼쪽 하단): RNN 계열 모델을 활용하여 미래 트래픽 패턴을 예측하고, 트래픽 급증이 예상될 때 서버를 선제적으로 확장합니다.

• 강화 학습(RL) 기반 부하 분산 (Reinforcement learning (RL) based load balancing, 오른쪽 하단): RL 알고리즘을 사용하여 환경으로부터 보상을 최대화하도록 시도하는 에이전트를 통해 부하 분산의 최적 전략을 학습합니다.

3. 장애 조치 전략 (Failover Strategies)

ML 시스템을 확장할 때는 아무런 문제 없이 서비스가 운영되면 가장 좋겠지만, 현실적으로는 외부 요인이나 다양한 변수로 인해 장애가 발생할 가능성이 있죠. 따라서 이를 대비한 장애 조치(Failover) 전략을 마련해 두는 것이 중요합니다.

• 중복성 (Redundancy): 똑같은 모델을 여러 서버에 복제해 두어, 주 서버가 고장 나면 백업 서버가 즉시 인계받게 합니다.
• 우아한 성능 저하 (Graceful Degradation): 중요 부품이 고장 나더라도 시스템이 완전히 멈추지 않고 다른 모델(예: 이전 버전 모델이나 단순 모델)로 대체하여 최소한의 기능이라도 유지하게 합니다. (예: 개인 추천이 안 되면 인기 상품 목록이라도 보여줌)

이러한 프로세스는 성능보다 가용성을 우선시하여 성능이 저하되더라도 애플리케이션이 높은 가용성을 유지할 수 있도록 합니다. 

워크스루 예시: 개인 추천 엔진

이제 위에서 살펴본 각 단계의 방식을 바탕으로, ‘개인 추천 엔진’을 예로 들어 ML 시스템을 배포 단계에서 어떻게 설계할 수 있는지 간단히 살펴볼까요?

추천 엔진은 3가지 주요 구성 요소로 구성됩니다.

• 개인화된 추천을 제공하는 주요 추천 시스템 (다이어그램 중앙)
• 사용자 프로파일링 시스템 (다이어그램의 왼쪽)은 클릭스트림 데이터를 검색하고 탐색 정보를 포함한 실시간 사용자 프로필을 구축합니다.
• 일일 최적화 시스템 (다이어그램의 회색 상자)은 사용자 프로파일링 시스템에서 집계된 프로파일 데이터를 검색하고 매일 밤 모델을 다시 훈련합니다. 

개인 추천 엔진의 ML 시스템 아키텍처

이렇게 실제 개인 추천 엔진을 구축해본다고 가정한다면, 이 모든 결정을 조합한 하이브리드 아키텍처를 사용할 수 있습니다.

이렇게 실제 개인 추천 엔진을 구축해본다고 가정한다면, 이 모든 결정을 조합한 하이브리드 아키텍처를 사용할 수 있습니다.

결론적으로, 안정적이고 신뢰할 수 있는 ML 시스템을 만드는 핵심은 기술보다 결정의 구조화(structured decision-making)에 있습니다. 또한 단계마다 배포 과정을 자동화해 주는 도구들이 많이 있을 텐데요. Superb AI의 MLOps 플랫폼처럼 배포 단계까지 연계 관리할 수 있는 환경을 활용하는 것도 여러분에게 좋은 선택일 수 있습니다. 복잡한 시스템을 견고하게 설계하여 사용자에게 지속적으로 가치를 제공하는 것이 ML 시스템 엔지니어링의 핵심인 만큼, ML 시스템에 대해 고민하고 계신다면 언제든지 저희 Superb AI를 찾아주세요!

✏️ SUPERB Curation

슈퍼브 지창현 3D Vision Engineer 의 추천:
Bezos와 OpenAI가 투자한 ‘Physical Intelligence’, 로봇을 위한 실세계 AI 혁신 가속

AI가 언어와 이미지 생성에 머물지 않고 ‘물리 세계’를 이해하고 조작하는 지능으로 확장되고 있습니다. 최근 주목받는 스타트업 Physical Intelligence는 바로 이 ‘Physical AI’를 구현하기 위해 설립된 기업으로, 로봇이 실제 세계에서 스스로 학습하고 움직이는 능력을 목표로 합니다. Physical Intelligence는 대규모 로보틱스 데이터를 학습하는 멀티모달 모델(OpenPI)을 오픈소스로 공개하며 연구 생태계에도 기여하고 있는데요. 이 모델은 텍스트·비디오·센서 데이터를 함께 학습해 로봇이 작업 지시를 언어로 이해하고 행동 계획으로 변환할 수 있게 설계되었습니다.

이들의 비전은 단순한 로봇 제어를 넘어, AI가 실제 공간 속 사물의 질감·무게·위치를 스스로 학습해 '손으로 생각하는 AI(Embodied AI)’를 실현하는 것인데요. 이는 OpenAI의 Figure-02, Google DeepMind의 RT-X, NVIDIA의 GR00T와 같은 최신 로보틱스 모델들과 함께 ‘실세계 지능(Physical AI)’ 경쟁의 서막을 알리는 움직임이기도 합니다. Physical Intelligence는 “AI의 다음 진화는 화면 속이 아닌, 현실 속에서 일어난다”는 메시지로, 로보틱스와 AI 융합 시대의 중심에 빠르게 자리 잡고 있습니다.

📢 SUPERB News

[고객사례집] 제조·물류 담당자가 가장 궁금해한 비전 AI 성공 전략 A to Z ⬇️

슈퍼브에이아이의 고객 사례집에는 실제 비즈니스 현장에서 검증된 구체적인 성과들이 담겨 있습니다. 지금 무료로 다운받으실 수 있습니다.

• 95% 이상 수작업 검토 시간 절감
  • 대형 물류 기업이 수천 대 차량의 블랙박스 영상을 AI로 자동 분석해 안전 관리 효율을 극대화한 방법.
• 90% 단축된 데이터 수집 시간
  • 국내 선두 보안 기업이 생성형 AI를 활용해 AI 모델 개발 기간을 2개월 단축하고 오탐지를 줄인 비결.
• 98%의 PPE 규정 준수율 달성
  • 대형 제조업체가 모델 재학습 없이 새로운 보호구를 즉시 인식하는 AI 영상 관제 시스템을 구축한 노하우.
• 65% 빨라진 화재 감지 시간
  • 소방 안전 연구기관이 전기차 화재의 초기 징후를 신속하게 감지하여 골든타임을 확보한 사례.
• 70% 절감된 초기 도입 비용
  • A 럭셔리 호텔이 추가 카메라 설치 없이 기존 CCTV를 활용해 AI 혼잡도 분석 시스템을 도입한 과정.
• 3주 만의 초기 모델 개발 완료
  • 아주대학교병원이 부족한 의료 데이터를 증강 기술로 극복하고 스마트폰 충치 진단 AI 모델을 신속하게 개발한 성공 스토리.

[성공 사례] AI 영상 관제로 안전 사고 예방, 중대재해처벌법 대응 👷

다중 장비와 사람이 분주하게 오가는 건설·조선 현장에서는 지게차 주변 근로자 사고가 언제든지 발생할 수 있습니다. 지게차 관련 사고가 급증하고 있는 이유는 단순한 장비 결함보다는 작업자의 부주의, 불안전한 운전 습관, 미흡한 관리체계에서 비롯되는 경우가 많습니다. 미국 노동통계국(OSHA)과 안전위원회에 따르면 전체 지게차 사망자 중 36%가 주변 보행자라고 보고합니다. 

국내 굴지의 조선사가 슈퍼브 플랫폼을 활용해 현장의 사고를 감지하고 근접사고를 예방하는 AI 영상 관제 시스템을 구축한 과정과 성과를 소개합니다.