Large Language Models

주요 뉴스

1. 1

   Microsoft, 인공지능 기반 사이버보안 도구 출시

   무슨 일이 일어났는가: Microsoft가 조직들이 위협을 탐지하고 대응하는 데 도움을 주기 위해 설계된 인공지능 기반 사이버보안 도구 모음을 공개했다. 왜 중요한가: 사이버보안 위협이 점점 더 정교해지고 있으며, 인공지능은 조직들이 수동 방법만으로는 불가능한 속도로 공격을 식별하고 방어할 수 있도록 도와줄 수 있다.

   주목할 점: 가용성 세부 사항, 가격 책정, 그리고 어떤 Microsoft 제품이 이 새로운 인공지능 보안 기능을 통합할 것인지.

2. 2

   Netflix가 Triton과 vLLM 기반 자체 LLM 서빙 플랫폼의 기술 세부사항 공개

   무엇이 일어났는가: Netflix는 대규모언어모델(LLM) 추론(AI가 답변을 생성하는 단계)을 제공하기 위해 자체 플랫폼을 구축한 방식의 기술 세부사항을 공개했다. 기존 JVM 기반 서빙 계층과 모델 관리용 Triton, 추론 실행용 vLLM을 결합했다. 소규모 모델은 CPU에서 직접 실행되고 대규모 요청은 Triton이 스케줄링과 다중 프레임워크 지원을 담당하는 전용 서빙 시스템으로 라우팅된다. 왜 중요한가: 이 플랫폼은 규모 있게 AI 모델을 운영할 때의 복잡성을 드러낸다. Netflix는 배포를 방해하는 소프트웨어 버전 불일치, 표준 호환성을 초과하는 사용자 정의 모델, 일시 중지된 요청 중 상태 관리 등 특정 과제를 마주쳤으며 여러 계층에서 엔지니어링 솔루션이 필요했다. 이는 표준화된 API가 있어도 프로덕션 LLM 서빙이 여러 엔진과 하드웨어 간 신중한 통합 작업을 요구함을 보여준다.

   주목할 점: Netflix는 Triton의 Python 백엔드보다 vLLM의 백엔드를 선택했는데, 이는 모델과 인터페이스가 더 독립적으로 진화할 수 있게 한다. 또한 테스트된 Triton과 vLLM 버전을 함께 고정시켜 장애를 방지하고, 모델 스키마 변경 시 팀이 자신의 속도에 맞춰 마이그레이션할 수 있도록 버전 관리형 배포 전략을 사용한다.

3. 3

   Dell과 AMD, 엔터프라이즈 확장을 위한 모듈식 AI 인프라 추진

   무슨 일이 일어났는가: Dell과 Advanced Micro Devices Inc.는 AMD와 함께 Dell AI Platform을 설계했으며, 이는 기업들이 저장소, 컴퓨팅, 네트워킹, AMD Instinct 및 EPYC CPU와 ROCm 소프트웨어로 구성된 모듈식 컴포저블 유닛을 사용하여 개념 증명에서 프로덕션까지 AI 배포를 확장할 수 있도록 돕는다. 중요한 이유: 프로덕션으로 AI를 전환하는 기업들은 세 가지 중요한 과제에 직면해 있다. 통제되지 않는 토큰 기반 가격 책정 비용, 데이터 거버넌스 및 RAG 파이프라인 설정, 규모 확대 시 보안 문제가 그것이다. 모듈식 인프라를 사용하면 조직이 작은 규모로 시작한 후 시스템을 재설계할 필요 없이 동일한 플랫폼에서 확장할 수 있어 비용이 많이 드는 아키텍처 재구성을 피할 수 있다.

   주목할 점: Dell의 모듈식 AI Factory 접근 방식은 고객이 확장 전에 통합 컴포넌트를 테스트하고 검증할 수 있도록 하며, 이 프레임워크는 온프레미스 배포(기업이 자신의 토큰 생성자가 됨)와 다양한 워크로드에 맞춤화된 하이브리드 모델 모두를 지원한다.

4. 4

   John Deere의 온디바이스 AI가 제초제 사용량 59% 감소, 엣지 컴퓨팅 전략 재편

   무슨 일이 일어났는가: John Deere의 See & Spray 기술은 NVIDIA Jetson 임베디드 하드웨어에서 실행되며, 2024년 살포 분무에 비해 제초제 사용을 평균 59% 감소시켰고, 백만 에이커 이상에서 약 800만 갤런을 절감했다. 2025년에는 커버리지가 500만 에이커로 확대되고 3,100만 갤런이 절감되었다. 이 시스템은 네트워크 연결 없이 기계에서 실시간으로 분무 결정을 내리며, 컴퓨터 비전을 사용해 잡초와 작물을 구별하고 개별 노즐을 작동한다. 왜 중요한가: See & Spray 결과는 클라우드가 아닌 온디바이스에서의 추론이 농업, 의료, 로봇공학, 산업용 IoT의 실시간 시스템에 필수적이 된 이유를 보여준다. 온디바이스 AI는 클라우드 지연을 제거하고, 불안정한 현장 연결에 대한 의존성을 피하며, 성공한 제품이 성공에 정확히 비례하여 실행 비용이 증가하는 클라우드 추론의 급증하는 비용 구조를 회피한다. 기업들의 입장에서 이러한 전환은 배포 병목이 원시 컴퓨팅 가용성에서 플랫폼 엔지니어링으로 이동했음을 의미한다. 모델 압축 파이프라인, 플릿 업데이트, 관찰성, 디바이스 라이프사이클 관리가 동작하는 프로토타입이 프로덕션에 도달하는지를 결정한다.

   주목할 점: 프로토타입과 제품을 구분하는 엔지니어링 도전은 상당하다. 플릿 라이프사이클 관리(단계적 롤아웃, 오프라인 롤백 경로, 수천 개 디바이스 간 버전 스큐 처리)와 민감한 데이터 중앙화를 피하면서의 관찰성은 컨테이너 네이티브 운영 체제와 K3s, MicroShift, KubeEdge 같은 도구를 요구한다. 하드웨어 이질성(같은 플릿에 섞인 이전 및 최신 가속기)은 컴파일된 모델 변형과 디바이스 기능 레지스트리를 요구한다. 실제로 작동하는 시퀀싱은 아키텍처를 설정하기 위해 먼저 모델을 증류하고, 메모리에 맞추기 위해 양자화하며, 프루닝을 기본값이 아닌 대상 최적화로 취급하는 것이다.

5. 5

   Amex GBT, Egencia 여행 플랫폼에 Claude AI 통합

   일어난 일: 미국 아메리칸 익스프레스 글로벌 비즈니스 트래블(Amex GBT)이 Anthropic이 개발한 AI 어시스턴트 Claude를 기업 여행 관리 플랫폼인 Egencia에 통합했다. 이 통합을 통해 여행 담당자와 직원들이 자연어 질의를 사용해 Egencia와 상호작용할 수 있게 됐다. 중요한 이유: 기업 여행 관리는 복잡한 예약, 정책 준수, 경비 추적을 포함한다. Amex GBT가 Claude를 Egencia에 직접 내장함으로써, 전문 교육을 받지 않은 직원들도 플랫폼을 더 쉽게 사용할 수 있게 되어 기업의 여행 계획 및 승인 워크플로우의 마찰을 줄일 수 있을 것으로 보인다.

   주목할 점: 서비스 제공 시기, Claude 통합으로 가능해지는 구체적인 사용 사례(정책 집행 또는 비용 최적화 등), 그리고 다른 여행 관리 제공업체들이 AI 기반 여행 플랫폼에 어떻게 대응할지 여부다.

6. 6

   AI의 부상으로 Booking Holdings 경영 전략 위협받아

   무슨 일이 일어났는가: Booking Holdings가 항공편, 호텔, 렌터카, 액티비티를 아우르는 원활하게 연결된 여행 경험을 만들겠다는 오랜 전략이 큰 성과를 거두지 못한 가운데, 여행객들의 여행 계획 방식을 재편하고 있는 AI 기반 경쟁사들로부터 압박을 받고 있다. 중요한 이유: 여행 예약은 역사적으로 Booking의 지배적 마켓플레이스 모델에 의존해왔지만, 생성형 AI 도구들이 여행객들로 하여금 여러 공급업체를 쉽게 비교하고 예약할 수 있게 해주면서 Booking이 수십 년에 걸쳐 구축한 경쟁 우위가 훼손될 수 있다. 회사의 '연결된 여행' 비전 실행 실패는 새로운 경쟁사 진입에 대한 취약성을 드러낸다.

   주목할 점: AI 기반 경쟁에 대한 Booking의 대응과 여행객들의 의사결정이 AI 보조 방식으로 변화하면서 플랫폼 사용자 유지에 성공적으로 전환할 수 있을지 여부이다.