뇌 역학을 해결하면 유연한 기계가 탄생합니다

이전 이미지 다음 이미지

작년에 MIT 연구원들은 작은 종의 두뇌에서 영감을 받아 "액체" 신경망을 구축했다고 발표했습니다. 이 신경망은 실제 안전을 위해 업무 중에 학습하고 변화하는 조건에 적응할 수 있는 유연하고 견고한 기계 학습 모델입니다. - 운전이나 비행과 같은 중요한 작업. 이러한 "유동적" 신경망의 유연성은 연결된 세계에 대한 혈통을 강화하여 뇌 및 심장 모니터링, 일기 예보, 주식 가격 책정 등 시계열 데이터와 관련된 많은 작업에 대해 더 나은 의사 결정을 내릴 수 있음을 의미합니다.

그러나 이러한 모델은 뉴런과 시냅스의 수가 증가하고 기본적이고 복잡한 수학을 해결하기 위해 투박한 컴퓨터 프로그램이 필요하기 때문에 계산 비용이 많이 듭니다. 그리고 많은 물리적 현상과 마찬가지로 이 모든 수학은 크기에 따라 해결하기가 더 어려워집니다. 즉, 솔루션에 도달하기 위해 많은 작은 단계를 계산해야 한다는 의미입니다.

이제 같은 과학자 팀은 시냅스를 통해 두 뉴런의 상호 작용 뒤에 있는 미분 방정식을 풀어 새로운 유형의 빠르고 효율적인 인공 지능 알고리즘을 잠금 해제함으로써 이러한 병목 현상을 완화하는 방법을 발견했습니다. 이러한 모드는 유연하고 인과적이며 견고하고 설명 가능한 액체 신경망의 특성과 동일하지만 훨씬 더 빠르고 확장 가능합니다. 따라서 이러한 유형의 신경망은 많은 기존 모델이 고정되어 있는 반면, 훈련 후에도 컴팩트하고 적응 가능하므로 시간이 지남에 따라 데이터에 대한 통찰력을 얻는 것과 관련된 모든 작업에 사용할 수 있습니다. 뉴런 모델의 미분 방정식이 도입된 해인 1907년 이후로 알려진 해결책은 없었습니다.

"폐쇄형 연속시간"(CfC) 신경망이라고 불리는 이 모델은 다양한 작업에서 최첨단 모델을 능가했으며 모션 센서에서 인간 활동을 인식하는 속도와 성능이 상당히 향상되었습니다. 시뮬레이션된 보행 로봇의 동역학 및 이벤트 기반 순차 이미지 처리. 예를 들어, 의료 예측 작업에서 새 모델은 8,000명의 환자를 샘플링하여 220배 더 빨랐습니다.

이 연구에 관한 새로운 논문이 오늘 Nature Machine Intelligence에 게재되었습니다.

"우리가 'CfC'라고 부르는 새로운 기계 학습 모델은 뉴런의 계산을 정의하는 미분 방정식을 폐쇄형 근사법으로 대체하여 수치 적분 없이도 액체 네트워크의 아름다운 특성을 보존합니다."라고 MIT 교수 Daniela Rus는 말합니다. CSAIL(Computer Science and Artificial Intelligence Laboratory)의 연구원이자 새 논문의 수석 저자입니다. "CfC 모델은 인과적이고, 간결하며, 설명 가능하고, 훈련 및 예측에 효율적입니다. 이는 안전이 중요한 애플리케이션을 위한 신뢰할 수 있는 기계 학습의 길을 열어줍니다."

물건을 유동적으로 유지하기

미분 방정식을 사용하면 세계의 상태나 진화하는 현상을 계산할 수 있지만 시간이 지남에 따라 단계적으로 계산할 수는 없습니다. 시간을 통해 자연 현상을 모델링하고 인간 활동 인식이나 로봇의 경로와 같은 이전 및 미래 동작을 이해하기 위해 팀은 티켓을 찾기 위해 수학적 트릭을 사용했습니다. 단일 계산 단계에서 전체 시스템에 대한 전체 설명입니다.

그들의 모델을 사용하면 미래의 어느 때나 과거의 어느 때라도 이 방정식을 계산할 수 있습니다. 뿐만 아니라, 미분방정식을 단계별로 풀 필요가 없기 때문에 계산 속도가 훨씬 빨라집니다.

자동차에 장착된 카메라로부터 주행 입력을 수신하는 엔드투엔드 신경망을 상상해 보세요. 네트워크는 자동차의 조향 각도와 같은 출력을 생성하도록 훈련되었습니다. 2020년에 팀은 19개의 노드가 있는 액체 신경망을 사용하여 이 문제를 해결했습니다. 따라서 19개의 뉴런과 작은 인식 모듈이 자동차를 운전할 수 있습니다. 미분 방정식은 해당 시스템의 각 노드를 설명합니다. 폐쇄형 솔루션을 사용하면 이 네트워크 내부에서 교체하면 시스템의 실제 역학에 대한 좋은 근사치이므로 정확한 동작을 제공할 수 있습니다. 따라서 더 적은 수의 뉴런으로 문제를 해결할 수 있으며, 이는 더 빠르고 계산 비용이 적게 든다는 것을 의미합니다.