Staff Machine Learning Engineer, Pegasus - TrainingOps

WHO WE ARE 영상 이해 AI의 글로벌 기준을 함께 만들어 갈 인재를 찾습니다! 트웰브랩스는 방대한 영상 데이터를 효과적으로 처리하여, 영상에 특화된 검색, 분석, 요약, 인사이트 생성 기능을 제공하는 세계 최고 수준의 영상 특화 AI 모델을 만들고 있습니다. 세계 최대 스포츠 리그에서는 트웰브랩스 모델을 활용해 방대한 경기 영상 속에서 빠르고 정확하게 하이라이트를 선별하여 초개인화된 시청 경험을 제공하고 있습니다. 국내 통합관제센터에서는 위기 상황에 신속히 대응하기 위해 트웰브랩스와 함께 CCTV 영상을 효율적으로 탐색하고 있으며, 전 세계 주요 방송사와 스튜디오들은 수십억 명의 시청자를 위한 콘텐츠 제작에 트웰브랩스 모델을 활용하고 있습니다. 트웰브랩스는 샌프란시스코와 서울에 오피스를 둔 Deep Tech 스타트업으로, 4년 연속 CB Insights 선정 세계 100대 AI 스타트업에 이름을 올렸습니다. NVIDIA, NEA, Index Ventures, Databricks, Snowflake 등 세계적인 VC와 기업으로부터 총 1억 1천만 달러 이상의 투자를 유치했으며, 한국에서 개발된 AI 모델 중 유일하게 Amazon Bedrock을 통해 서비스됩니다. 우리는 탁월한 동료들과 혁신적인 제품을 만들고 전 세계 고객들과 함께 성장하고 있습니다. 트웰브랩스는 다음과 같은 핵심 가치를 중심으로 일합니다. - 나와 팀에 대해 정직하고 성찰할 수 있는 태도 - 실패와 피드백을 두려워하지 않는 끈기와 겸손 - 끊임없는 학습을 통해 팀의 역량을 함께 높여 가는 자세 도전적인 문제를 함께 해결하며 성장하는 과정을 즐기는 분이라면, 그 기회가 여기 트웰브랩스에 있습니다.   ABOUT PEGASUS Pegasus는 “영상은 많지만 실제로 활용 가능한 데이터는 부족하다“는 문제를 해결하기 위해 만들어진 Video Understanding 모델입니다. 기존의 Video AI는 주로 영상 전체를 요약하거나 질문에 답하는 수준에 머물러 있었습니다. 하지만 실제 비즈니스 환경에서는 단순 요약만으로는 충분하지 않습니다. 기업들은 특정 장면이 언제 등장했는지, 어떤 이벤트가 어느 시점에 발생했는지, 그리고 이를 어떻게 검색·분류·아카이빙·편집 시스템과 연결할 수 있는지를 필요로 합니다. Pegasus는 이 지점을 해결합니다. 영상의 비주얼, 음성, 오디오, 화면 내 텍스트를 종합적으로 이해하고, 이를 시간 기반(Time-aware)의 구조화된 데이터로 변환합니다. 대표 기능인 Segment는 고객이 원하는 구간 유형과 메타데이터 스키마를 직접 정의할 수 있게 해주며, Pegasus는 영상 속 관련 장면의 시작과 종료 시점을 찾아 제목, 요약, 인물, 주제, 비주얼 요소, 도메인 특화 라벨 등의 정보를 구조화된 형태로 반환합니다. 즉 Pegasus의 핵심은 단순히 “영상 내용을 이해하는 것“이 아닙니다. 영상을 실제 프로덕션 환경과 비즈니스 워크플로우에서 바로 활용 가능한 데이터 시스템으로 변환하는 것입니다. Pegasus는 단순한 Video LLM 을 넘어서, 검색(Search), 아카이빙(Archive), 컴플라이언스(Compliance), CMS, 콘텐츠 운영 자동화 등 다양한 영역의 기반 인프라 역할을 수행합니다. 페가수스, 알면 알수록 재밌다. 더 파헤쳐보기! - 비디오를 구조화된 자산으로: Time-Based Metadata(TBM) 파이프라인 구축기 https://www.twelvelabs.io/ko/blog/%EB%B9%84%EB%94%94%EC%98%A4%EB%A5%BC-%EA%B5%AC%EC%A1%B0%ED%99%94%EB%90%9C-%EC%9E%90%EC%82%B0%EC%9C%BC%EB%A1%9C-time-based-metadata(tbm)-%ED%8C%8C%EC%9D%B4%ED%94%84%EB%9D%BC%EC%9D%B8-%EA%B5%AC%EC%B6%95%EA%B8%B0 - Quick Shorts demo: YouTube Shorts https://www.youtube.com/shorts/uaEcQ07AKGg   ABOUT THE TEAM Pegasus 팀은 TwelveLabs의 비디오 이해(Video Understanding) 역량의 중심에 있는 조직으로, 자사의 핵심 Video Analysis 제품인 Pegasus를 개발하고 있습니다. 높은 instruction-following 성능과 복잡한 계층형 결과물을 생성할 수 있는 멀티모달 비디오 분석 시스템 구축에 집중하고 있으며, 단순한 리서치에 머무르기보다 실제 사용자에게 가치를 제공하는 제품을 빠르게 시장에 선보이는 것을 중요하게 생각합니다. 이를 위해 ML 리서처와 엔지니어가 함께 목표 중심(goal-oriented)의 크로스펑셔널 조직으로 긴밀하게 협업하고 있습니다. 팀의 업무는 매우 폭넓은 엔지니어링 과제를 아우릅니다. 멀티모달 LLM 개발을 위한 프리트레이닝부터 RL까지의 학습 인프라 구축, 실제 프로덕션 환경에서의 시간 기반 세그멘테이션 및 구조화된 메