NVIDIA Inception 프리미어 파트너가 컴퓨터 비전 소프트웨어와 NVIDIA Omniverse 기반 디지털 트윈으로 현장의 안전성과 효율성, 지속 가능성을 개선합니다
미국 샌프란시스코에 기반을 둔 스타트업 스카이캐치(Skycatch)는 지난 10여 년간 광산 기업들의 광물과 데이터 채굴 모두를 지원해 왔습니다.
이 소프트웨어 제조사는 현재 광업과 건설업에 일차적 역점을 둔 디지털 트윈을 연구하고 있는데요. 커스텀 3D 파이프라인의 연결과 구축에 NVIDIA Omniverse 플랫폼을 사용합니다.
스카이캐치의 비전 AI 플랫폼인 스카이버스(SkyVerse)는 컴퓨터 비전 소프트웨어와 커스텀 Omniverse의 확장 기능을 결합해, 광산과 다른 산업 현장의 가상 세계를 실시간에 가까운 지형공간 데이터로 보강하고 애니메이션화합니다.
크리스티안 산즈(Christian Sanz) 스카이캐치 창립자 겸 CEO는 NVIDIA Omniverse가 “방대한 양의 비시각(non-visual) 데이터를 맥락화와 소비가 용이한 동적 시각 정보로 바꿉니다. 물리 세계의 진정한 재현이 가능해지는 셈입니다”고 설명합니다.
스카이버스는 날씨와 기계 고장 등 산업 현장의 변수들을 최대 5년 뒤까지 시뮬레이션할 수 있으며, 과거 5년간의 사례를 통한 학습이 가능하죠.
이 플랫폼은 채굴과 건설 환경에 필요한 가상화 파이프라인 일체를 자동화합니다.
먼저 드론과 라이더(lidar) 등의 센서로 취합한 데이터를 엣지의 NVIDIA Jetson 플랫폼이나 클라우드에서 처리합니다.
뒤이어 NVIDIA의 사전 훈련 모델로 구축한 신경망을 활용해 2D 이미지에서 3D 메시를 생성하고, 덤프 트럭과 기타 장비 등 불필요한 오브젝트들을 시각화에서 제거하죠.
스카이버스는 이를 단일한 3D 모델로 이어 붙인 뒤, USD(Universal Scene Description) 프레임워크로 변환합니다. 이 마스터 모델을 Omniverse Enterprise로 가져와 실세계의 원격 측정 데이터와 실시간으로 동기화되는 디지털 트윈을 만듭니다.
산즈 CEO는 “현장의 기계와 기상 상황, 교통 체증 등의 시뮬레이션이 가능했던 플랫폼은 지금껏 없었습니다. 극사실적 물리와 오브젝트 질량으로 이를 가능케한 NVIDIA Omniverse는 가히 진정한 혁신이라 부를 만합니다”라고 평가합니다.
스카이캐치는 최첨단 테크놀로지로 산업을 혁신하는 스타트업을 육성하기 위한 글로벌 무상 프로그램인 NVIDIA Inception의 프리미어 파트너입니다. 프리미어 파트너들은 시장 진출, 벤처 캐피털 기업과 접촉, 기술적 전문성 제공 등의 추가적 지원을 통해 성장을 가속할 수 있습니다.
데이터의 처리와 시각화
스카이캐치의 완전 자동화 테크놀로지를 도입한 기업들은 주요 채굴 현장 수만 곳에서 수집한 항공 데이터에서 인사이트를 도출했습니다.
스카이캐치 개발팀은 광산의 작업 차량에 데이터 수집용 센서를 부착하기에 앞서 NVIDIA Isaac Sim 플랫폼으로 최적의 위치를 결정합니다. NVIDIA Isaac Sim은 로보틱스 시뮬레이션과 합성 데이터 생성(SDG)을 위한 툴로 AI 기반 로봇의 개발과 검증, 훈련을 지원합니다.
“Isaac Sim으로 검증에 소요되는 시간을 1년가량 단축했습니다. 현장에 나가 센서를 배치하고 작동을 검증하는 반복적 절차를 생략할 수 있었습니다.”
개발팀은 또한 Omniverse Replicator 소프트웨어 개발 키트를 스카이버스에 통합해 물리적으로 정확한 3D 합성 데이터를 생성하고 SDG 툴을 구축함으로써 로봇 외 분야의 인식 네트워크 훈련을 가속할 계획입니다.
스카이버스는 NVIDIA Jetson Nano와 Jetson AGX Xavier 모듈로 구동되는 엣지 디바이스를 활용해 현장의 데이터를 매일 테라바이트 단위로 자동 처리하고, 이를 킬로바이트 규모의 애널리틱스로 변환해 일선의 사용자에게 보다 쉽게 전송되도록 합니다.
산즈 CEO에 따르면, 이 데이터 처리 과정이 NVIDIA CUDA 병렬 컴퓨팅 플랫폼 덕분에 3배 빨라졌습니다. 스카이캐치 개발팀은 다음 단계로의 성능 향상을 위해 새로운 Jetson Orin 모듈을 도입하는 방안을 검토하고 있습니다.
“하루에 수만 개의 이미지를 훑어보고 주요한 애널리틱스를 도출하는 일은 인간의 힘으로는 불가능합니다. 신경망을 활용하면 인간의 능력을 놀랍게 확장할 수 있습니다.”
스카이캐치는 NVIDIA TAO 툴킷의 사전 훈련 모델을 사용해 불필요한 오브젝트와 차량을 시각화에서 제거하고, 이 지점들을 3D 메시에서 텍스처링할 수 있는 신경망을 구축했습니다.
정밀도가 5cm 미만인 이 디지털 지형 모델을 Omniverse로 가져오기 한 뒤, 확장이 간편한 USD 프레임워크와 커스텀 스카이버스 Omniverse 확장 기능, NVIDIA RTX GPU를 사용해 디지털 트윈을 생성합니다.
산즈 CEO는 “아주 복잡한 확장 기능을 Omniverse로 구축하기까지 고작 3개월이 걸렸다”면서, 이 과정에서 NVIDIA Inception 프로그램을 통해 액세스한 기술 전문가들이 큰 도움이 되었다고 말합니다.
스카이캐치는 캐나다의 주요 광산 기업인 텍 리소스(Teck Resources)와 협업하며 프로젝트 현장에 Omniverse 기반 디지털 트윈을 도입하는 방법을 연구하고 있습니다.
텍 리소스의 프레스턴 밀러(Preston Miller) 테크놀로지와 이노베이션 책임자는 그간 “전 세계의 채굴 현장에서 스카이캐치의 컴퓨팅 엔진을 사용해 왔으며, 이제 스카이버스와 자체 디지털 트윈으로 시각화와 시뮬레이션 능력의 확장을 꾀하고 있습니다”고 전합니다. “실시간에 가까운 시각 데이터로 채굴 현장을 신속히 맥락화하는 한편, 목표 달성에 중요하고 시간에 민감한 프로젝트들의 운영상 결정들을 보다 신속히 내릴 수 있게 될 것입니다.”
스카이캐치가 구축한 Omniverse 확장 기능이 곧 여러분을 찾아갑니다. 더 자세한 내용은 여기를 참고하세요.
안전성과 지속 가능성
AI 기반 데이터 분석과 디지털 트윈은 광업과 건설업 부문 기업들의 운영 프로세스를 보다 안전하고 지속 가능하며 효율적으로 만듭니다.
가령 광산 기업들은 일명 “벤치(bench)”의 토(toe, 아래쪽 경계)와 크레스트(crest, 위쪽 경계)를 신속히 파악하는 능력을 갖춰야 합니다. 여기서 벤치란 오픈 핏(open-pit) 형태의 광산에서 각 사면 사이에 존재하는 비좁은 땅을 뜻합니다. 산즈 CEO의 설명에 따르면, 기계의 광산 출입을 자동화할 때는 크레스트와 10미터 이상의 거리를 언제나 유지하도록 프로그래밍해야 사면에서 미끄러질 위험을 제거할 수 있습니다.
전에는 지형을 조사하고 분석해 토와 크레스트를 정확히 파악하기까지 최대 닷새가 소요됐습니다. 스카이버스는 이제 NVIDIA AI의 도움에 힘입어 이 정보를 수 분 내에 생성할 수 있게 됐죠.
또한 스카이버스는 한 현장당 매년 1만 건의 오픈 핏 인터랙션을 제거합니다. 오픈 핏 인터랙션은 인간과 차량이 광산 내부에서 교차하는 상황으로, 안전을 위협하는 요소입니다.
산즈 CEO는 “스카이캐치의 핵심 목표는 광산이나 건설 현장의 상황과 관련한 컨텍스트와 인식을 실시간에 가깝게 제공하는 겁니다. 환경 컨텍스트의 개선은 작업자의 안전 향상과 직결됩니다” 라고 설명합니다.
스카이캐치는 광산업의 지속 가능성 증진을 위한 노력도 지원할 예정입니다.
“광산 기업과 더불어 정부 기관들도 현장 주변의 관리 상황 등 광산의 운영 방식을 확인하고 싶어합니다. 스카이캐치의 플랫폼은 이와 관련한 인사이트도 제공합니다.”
코발트와 니켈, 리튬 등의 광물은 전력화와 에너지 전환에 필수적입니다. 산즈 CEO는 이 모든 광물의 원천인 광산 현장을 스카이버스의 디지털 트윈과 비전 AI로 보다 안전하고 효율적인 곳으로 만들 수 있다고 말합니다.