자율주행 자동차는 크게 인지(Perception), 예측(Prediction), 계획(Planning), 제어(Control) 등 여러 모듈로 구성된 복잡한 기술 스택을 갖추고 있다.

모듈별 한계

인지의 한계

환경적 요인

• 악천후나 조도 변화에 성능 저하
• 복잡한 도시 환경 등에서 인지 기능 크게 저하

센서 고유 한계 장애

• 캘리브레이션 오류
  • 라이다: 안개나 눈에 빛이 산란
  • 카메라: 강한 햇빛, 밤엔 노이즈
  • 레이더: 물체 해상도 낮고 다중 경로 반사로 인한 오류 발생

희귀 케이스 인식

• 일반적 대상에는 높은 성능을 보이지만, 드물게 등장하는 객체나 상황에는 약하다. → 롱테일 현상

→ 희귀 상황에 대한 인식 능력 부족은 자율주행 안전성 향상의 큰 걸림돌이다.

실시간 처리와 안정성

• 인지 모듈은 대용량 데이터를 밀리초 단위로 처리해 주변 환경 파악해야함
• 센서 지연, 통신 지연, 컴퓨팅 부하로 실시간 처리 한계
  • 고속 주행 시 카메라-라이다 센서 융합 지연이 수백 ms만 발생해도, 차량 제어 입력이 늦어져 주행 안정성이 저하될 수 있다.

예측의 한계

복잡한 상호작용의 예측

• 다수의 교통참가자와 복잡한 상호작용을 한다. e.g. 교차로나 고속도로 진출입로에서는 여러 방향에서 차량이 동시에 진입하며 양보/진출을 두고 상호 작용

교통 규칙/HD 지도 의존성

• 예측 모듈은 종종 정적 환경 정보를 이용하는데 교통 규칙과 HD 지도에 대한 높은 의존도가 문제로 지적된다.

장기 예측에서의 오차 누적 및 불확실성

• 수 초 이상의 장기 예측 시나리오에서 큰 누적 오차를 보임.

희귀/Corner 케이스에 대한 일반화

• 극한 기상에서의 차량 동작, 교통 규칙에 어긋나는 돌방 행동 등 일상적이지 않은 시나리오에서 예측 모델이 취약하다. 대부분 모델이 훈련 데이터 분포를 학습하므로, 드문 상황에서 오차가 커진다.
• GAN 등으로 인공적인 희귀 시나리오 데이터를 생성하는 시도가 있지만 생성 데이터의 품질과 현실성이 충분하지 않다는 한계가 있다.

실시간성과 계산 효율

• 딥러닝 기반 예측 모델(Transformer, Diffusion 모델 등)은 높은 정밀도를 보이지만 모델 규모와 연산량이 방대하여 임베디드 시스템에서 실시간 동작이 어렵다.
• 따라서 모델 경량화와 최적화가 필수적이며, 정확도 vs 속도 사이 트레이드오프를 극복하기 위한 연구가 진행 중이다.

계획의 한계

환경 인식 불확실성 전파

• 계획 모듈은 지각/예측의 출력을 받아 경로를 산출하므로, 입력 불확실성에 매우 민감하다.
• 환경 인식의 불확실성 전파를 완화하고, 오감지 상황에서도 보수적 계획을 세우는 능력은 여전히 도전 과제.

다역목표 충돌

• 안전, 신속함, 승차감, 교통법규 준수 등 자율주행의 목표들은 때때로 상충한다.
• 현재 계획 알고리즘은 이러한 다목적을 가중치 합산 비용 함수로 통합하고 있지만, 가중치 설계가 임의적이고 상황별 가중치 조정이 어렵다. (과하게 보수적이거나 공격적이거나) → 복잡한 합류 상황에서 보수적이면 교착 상태, 무리하게 끼어들면 사고 위험 높아짐

장면 해석 및 윤리적 판단

• 계획 모듈은 종종 비정형 상황에서 인간 운전자가 하는 판단을 모방하기 어렵다. (응급차량이 갓길 양보 등)
• 상황 이해와 윤리적 고려 등이 필요한데 자율주행 시스템은 고차원적인 판단 능력이 없다.
• 인지와 추론이 결합된 고수준 계획, 사고하는 자동차를 구현하는 것이 미래 과제다.

계획의 검증 및 설명 가능성 부족

• 복잡한 알고리즘이 산출한 경로/행동의 안전 검증은 어려운 문제
• 수학적으로 충돌 없음 보장이나 최적성을 증명하기 힘들다
• 생성된 경로가 왜 그런 결정을 내렸는지 설명하기 어려운 경우도 많다. → 안전 인증, 사용자 신뢰와 직결
• 이러한 투명성 부족은 향후 설명 가능한 계획(Explainable Planning), 형식 검증(Formal Verification) 등의 기법을 접목해 신뢰성 향상이 필요하다

제어(Control)의 한계

지연 및 차량 동역학 한계

• 제어 모듈은 스티어링, 가속, 제동을 정밀 제어한다. 그러나 제어 입력의 지연과 액추에이터 동작 지연은 필연적으로 존재한다. (브레이크 패드 물리적 지연, 네트워크 통신 지연, ECU 연산 지연 등)
• 이런 지연이 누적되면 전체 제어 루프에 수백 ms 지연이 발생할 수 있다.
• 고속 주행 시 이 지연은 주행 안정성과 추종 오차에 치명적 영향을 준다.
• 또한 차량의 동역학 모델은 노면 상태, 하중 변화 등에 따라 변하고, 모델 불확실성이 존재한다.

다중 구동/조향 제어 통합

• 자율주행에서는 네 바퀴 개별 제어, 토크 벡터링 등 다중 액추에이터 통합 제어가 이루어진다. 이러한 과제량 시스템에서는 제어 계층 간 협조 및 안정성 보장이 어렵다. 예를 들어 모터 토크 액추에이터가 실패하거나 지연되면 다른 액추에이터가 이를 보완해야 하는데 이런 폴백 안전 제어에 대한 공식적인 검증이 부족하다.
• 실시간 최적 제어(MPC) 기법이 쓰이지만 이는 계산량과 모델 정확도 문제가 따라오고 있다.

요약하자면, 제어 분야에서는 지연과 불확실성 속에서도 안정적이고 민첩한 차량 거동을 구현하는 문제가 핵심 한계로 남아 있다. 이를 위해 지연 보상 알고리즘 연구, 견고 제어 및 적응 제어 기법 등이 연구되고 있으나, 실제 차량 모든 상황에서 완전한 신뢰성을 확보했다고 보기 어렵다.

센서 융합의 한계

제한적 융합 방식

• 현재 상용화된 다중센서 융합은 주로 객체 단위(object-level) 융합에 그친다.
• 각 센서의 고유 한계(카메라의 거리 오차, 레이더의 각도 해상도 한계)가 여전히 결과에 남는다.
• 또한 센서별 결과가 충돌할 때 어떤 정보를 신뢰할 지 애매하여, 모순된 입력에 대한 처리가 어렵다. (카메라는 물체 인식, 라이다에는 없음)

카메라 중심 설계의 문제

• 기존 ADAS/AV 인지 스택은 카메라에 편중되어 있다. 다른 센서 데이터를 유기적으로 통합하는 능력이 제한적이다.
• 플랫폼마다 지원하는 센서 구성이 달라 유연성, 확장성이 떨어진다.
• 하드웨어 종속적 설계는 센서 구성 변경 시 소프트웨어를 처음부터 재작성해야 하는 비효율, 센서 고장 시 강인성 부족

시간 동기화 및 보정

• 이상적인 센서 융합을 위해서는 미세한 시간 동기화와 정밀 캘리브레이션이 필수다.
• 센서 간 샘플링 레이트, 지연차가 있고, 주행 중 캘리브레이션이 틀어지는 경우도 있다.
• 예를 들어, 고속주행 중 카메라와 라이다의 타임스탬프 차이가 크면 움직이는 물체 위치가 다르게 잡혀 팬텀 객체나 위치 착오가 발생할 수 있다.

연산량과 구현 복잡도

• Raw data level의 저-level 융합(원시 데이터를 신경망에 함께 입력)은 이상적이지만, 데이터 양이 방대하고 모델이 복잡해 계산 부담이 매우 크다.
• 여러 센서 스트림을 하나로 합치는 파이프라인 구현도 복잡하다.
• 이 때문에 많은 시스템이 비교적 간단한 객체레벨 융합을 택하는 실정

센서 이견 시 신뢰도 판단

• 여러 센서가 상충되는 정보를 제공할 때 무엇을 믿을지 난제
  • 라이다는 거리는 정확하지만 작은 물체를 못 볼 수 있고, 카메라는 분류 잘하지만 거리 오차가 크다.
• 현 융합 알고리즘은 휴리스틱하게 가중치를 주는데, 이로 인해 오류 케이스에서 의도치 않은 결과가 나올 수 있다.
• 신뢰도 추정 기법이나 비정상 탐지 등이 연구되나, 완벽히 해결되지 않았다.

센서 융합은 지율주행 인식 신뢰성 향상의 핵심이므로, 이러한 한계를 극복하기 위한 방향으로 Raw 데이터 융합(early fusion) 기법과 AI 기반 융합 아키텍처가 제안되고 있다. 예를 들어, LedderVision처럼 카메라+레이더 원시 데이터 융합 3D 객체 검출 등으로 성능 향상. 기존 object-level 융합 대비 탐지 정밀도 향상과 센서 모순 해소에 유리한 것으로 나타난다. 첨단 기법도 실시간 구현과 검증 문제가 남아 있다.

통신 및 연결성(Connectivity/V2X)의 한계

인프라 의존성과 보급률

• V2V, V2I 통신은 정보 공유를 통해 사각지대 해소 등 자율주행을 보조할 잠재력이 있지만, 현재 표준 미흡과 인프라 부족

통신 지연과 신뢰성

• 무선 통신은 네트워크 지연, 패킷 손실 등에 취약하다

실시간 의사결정 어려움

• V2X를 통해 추가 정보를 얻더라도 이를 실시간 의사결정에 넣는 것은 또 다른 문제다. 정보의 신뢰도 평가, 본 차량 센서 정보와의 일관성 체크 등이 추가로 필요하다.

학습 기반 접근의 한계

딥러닝을 비롯한 학습 기반 방법은 자율주행 소프트웨어 개발에 혁신을 가져왔지만, 동시에 여러 고유한 한계를 드러내고 있다. 지도학습을 통한 모듈별 인지/판단, 행동 모방 학습(IL), 강화학습(RL) 등 다양한 접근법들이 제안되었으나 각각 일반화 어려움, 샘플 효율성, 안전성, 평가 신뢰성 측면에서 한계를 지닌다.

지도학습 기반 정책의 한계

• 사람의 주행 데이터로부터 end-to-end 주행 정책이나 개별 모듈(차선인식, 객체검출 등)을 지도학습으로 학습시키는 방식은 대량의 라벨링 데이터를 활용한다.
• 막대한 양의 레이블된 데이터를 필요로 하고, 학습된 모델은 훈련 분포에 갇혀 낮은 일반화 능력을 보이는 경우가 많다.
• 즉, 훈련 데이터에 없는 새로운 환경이나 돌발 상황에서는 일관되고 안전한 결정을 못 내릴 수 있다.
• 또한, 딥러닝 모델의 결정 과정이 불투명해서 해석이 어렵다.
• 따라서 지도학습 접근은 데이터 편향과 설명력 부족 문제가 크고, 결국 안전하고 신뢰할 수 있는 평가를 어렵게 만든다.

행동 모방 학습(IL)의 한계

• IL(Behavior Cloning 등)은 구현이 비교적 쉬워 초기에 각광받았으나, 분포 변화에 취약하다.
• 훈련시 전문가 행동을 모방한 정책은 배운 대로만 운전하므로, 테스트 중 훈련 분포를 벗어난 상태에 놓이면 크게 성능이 떨어진다.
• 예를 들어, 훈련 데이터에는 중앙차로 주행만 있었는데 가장자리 차로로 밀려난 경우, 그 상태에서의 대응을 학습하지 못해 실수 연발할 수 있다. 이를 Convariate Shift 문제라고 한다.
• 더불어, IL은 장기 보상 고려가 없다. 한 스텝씩 모방하니, 몇 초 후 결과까지 좋은 방향으로 만들기 어렵다. (급커브 진입 전 미리 감속하는 행동 등)

심층 강화학습(Deep RL)의 한계

온라인 강화 학습의 한계

• 온라인 강화학습은 시뮬레이터 등에서 차량이 시행착오를 거쳐 주행 정책을 스스로 학습하도록 한다. 이 접근은 보상함수 설계를 통해 안전, 효율 등 다목적을 최적화할 수 있는 잠재력이 있지만, 현실 적용에는 여러 난제가 있다.
• 샘플 효율성 문제: 모델 프리 RL 알고리즘들은 보통 매우 많은 환경 상호작용이 필요하다. 자율주행의 희귀위험 상황들을 제대로 배우려면 많은 에피소드 학습이 필요한데, 이를 실제 차량으로 하긴 불가능하고 시뮬레이션으로도 비용이 크다.
• 탐색 과정의 안정성: RL은 종종 위험한 시도를 통해 학습하는데 실제 차량에 적용할 경우 잘못된 탐색은 바로 사고로 이어진다. 안전을 위해 보상에 페널티를 주거나 안전 장치를 두지만, 이러면 학습이 더욱 어려워진다.
• 보상 함수 설계 난이도: 주행은 안전, 신속, 승차감 등 다목적이 얽혀있는데 잘못하면 보상 신호가 정책을 오도하여 이상행동을 학습하기도 한다.
  • 예를 들어, 급정거하면 보상 -100을 줬더니, 차가 아예 정지를 피하려고 노란불에 가속 통과
• sim-to-real 문제: 시뮬레이터에서 잘 배운 정책도 실제 도로에서는 성능이 급락할 수 있다. 시뮬레이션은 현실 대비 센서 잡음, 물리 역학, 차량 동력학, 다른 운전자 행동 등이 단순화되어 있어, 현실의 복잡한 변수들을 반영하지 못한다.
• RL의 훈련 불안정성과 튜닝 난이도: 심층 RL 알고리즘은 고분산을 보이거나 파라미터 튜닝에 매우 민감해서, 쉽게 발산하거나 성능 정체에 빠질 수 있다.

이러한 이유로 Deep RL을 그대로 자율주행에 적용하기엔 위험부담이 크고 개발 난이도가 높다. 현재는 주로 시뮬레이터 상에서 연구 목적으로만 활용되며, 상용 차량에는 거의 적용되지 못하고 있다.

오프라인 강화학습의 한계

• 오프라인 RL은 미리 수집된 주행 데이터셋을 이용해 강화학습 정책을 학습하는 방법으로, 실제 차량 탐색 없이 안전하게 학습하는 장점이 있다.
• 그러나 데이터 분포 제약과 한계된 상호작용 문제가 존재한다. 오프라인 RL은 주어진 데이터 분포 밖의 행동을 취하면 성능이 급락하거나 위험해질 수 있어, 학습된 정책이 데이터 내 동작만 하려는 경향이 있다.
• 이는 곧 일반화 문제로 이어져, 데이터셋에 없는 새로운 상황 대응을 못한다는 의미이다.
• 실제로 AD4RL 등이 오프라인 RL 연구를 위해 대규모 데이터셋을 제공하지만 특정 시나리오 편중을 완전히 제거하기 어렵다.
• 마지막으로 오프라인 RL로 학습된 정책을 실제 차량에 올릴 때, 환경 차이나 예기치 못한 상호작용으로 성능 보장이 어렵다.

안전 강화학습(Safe RL)의 한계

• 강화학습에 안전 제약을 넣어 학습 과정과 결과 정책의 안전도를 높이려는 연구가 활발하다.
• 그러나 안전과 학습효율 간 트레이드오프가 존재한다. 강한 안전제약은 탐색공간을 위축시켜 학습이 잘 되지 않고, 반대로 자유 탐색을 허용하면 위험 행동이 나온다.

심층학습 기반 평가 신뢰성 문제

• 지도 학습이든 RL이든, 어떻게 신뢰할 수 있을까? 현재는 주로 테스트 데이터나 시뮬레이터로 성능을 검증하지만, 이는 한계가 있다.
• 테스트 데이터는 한정되어 있어 모델이 잘못 작동할 corner case를 다 포함하지 못한다.
• 시뮬레이터 평가는 현실 오차가 있어서, 시뮬레이터에서 통과해도 실제 도로에서 사고가 날 수 있다.
• 특히 학습된 정책에 대한 worst-case 검증이 거의 불가능하다. 이처럼 평가의 불완전성 때문에 학습 기반 모델을 그대로 사용 차량에 태우는 데 업계가 신중한 상황이다.
• 학계에서는 신뢰도 향상을 위해 해석 가능성을 높이거나, 사전 정의된 시나리오군에 대한 시뮬레이션 검증(시나리오 기반 테스트)등을 연구하고 있으나, 완벽한 해답은 없다.

자기지도학습의 한계

• 레이블링 비용과 일반화 문제를 극복하기 위해 자기지도학습이나 표현학습 기법이 도입되고 있다.
  • 대규모 주행 영상에서 자율적으로 표현을 학습한 후 다운스트림 작업(객체 검출 등)에 활용하는 방식이다.
  • 새로운 환경에 대한 표현 일반화를 높일 잠재력이 있지만, 완전한 자율주행 정책 학습까지는 갈 길이 멀다. (인식 수준 표현 학습에는 성공했으나 의사결정은 아직 어렵다)

요약하면, 학습 기반 접근 각각이 가지고 있는 표현력과 한계를 인지하고 이를 보완하는 것이 중요하다. 최신 연구들은 IL+RL 결합이나 휴먼-인더-루프 RL, 대규모 시뮬레이션 평가 등으로 한계를 극복하려 하지만, 샘플 효율성과 일반화, 안전성 확보라는 근본 과제는 완전히 풀리지 않은 채 남아 있다.

데이터/시뮬레이션/검증 인프라 한계

자율주행 기술 개발에는 대규모 데이터셋, 고품질 시뮬레이터, 엄격한 검증 체계가 필수적이다. 지난 수년간 공개 도로주행 데이터와 시뮬레이션 플랫폼, 벤치마크 등이 많이 등장했지만, 여전히 롱테일 커버리지 부족, 시뮬레이션 현실성 한계, 평가 체계의 미비 등의 문제가 지적된다.

시뮬레이터 현실성 부족

• 자율주행 개발에서 시뮬레이션은 안전하고 효율적인 평가 수단이지만 현실과의 괴리가 존재한다.
• 예를 들어 CARLA 같은 오픈소스 시뮬레이터는 언리얼 엔진 기반으로 도시/교외 환경을 비교적 사실적으로 구현했지만, 센서 모델의 정밀도나 다른 차량/보행자의 행동 모델이 현실과 일치하지 않는다. 센서 시뮬레이션 측면에서, 카메라 영상은 게임 엔진 렌더링으로 실제 카메라 노이즈나 HDR 효과 등이 부족하고, 라이다 시뮬은 실제 라이다의 퍼짐 현상, multiple return 등을 다 반영 못한다.
• 상대 차량 AI도 제한적 패턴으로 움직이기에, 현실의 예측 불가능한 운전자들을 재현하지 못한다.
• 최근 Waymax 시뮬레이터를 선보이며 현실감을 높이고자 했다. 그럼에도 완전한 현실복제 시뮬레이션은 요원하며, 특히 롱테일 희귀 상황을 시뮬레이터에 구현하는 것이 매우 어렵다.
• 갑자기 도로로 뛰어드는 사슴이나 공사장에서 날아오는 객체 등을 무작위로 발생시키는 건 가능하지만, 그 빈도와 맥락을 현실적으로 설정하기 어렵다.

폐쇄환경 평가 vs 실제환경 차이

• 현재 평가 인프라는 오픈루프(open-loop) 평가와 클로즈드루프(closed-loop) 평가로 나뉜다.
• 오픈루프는 주어진 센서로그 데이터에서 알고리즘 출력을 내보내 사실정답과 비교하는 방식이고,
• 클로즈드루프는 시뮬레이터 등 가상환경에서 알고리즘이 차량을 직접 제어해보는 방식이다.
• 오픈루프 평가는 대량의 실제상황 데이터로 가능하나, 알고리즘의 행동이 환경에 영향을 미치지 않는 제한이 있다. 차량의 행동이 주변에 끼치는 영향, 피드백 루프 등을 평가하기 어렵다.
• 클로즈드루프는 평가 가능하지만, 시뮬레이터 신뢰도 문제가 발목을 잡는다. nuPlan은 이러한 폐쇄루프 평가를 도입한 첫 대규모 벤치마크로 의미가 있다.
• unPlan의 평가 서버는 제출한 자율주행 플래너 코드를 비공개 테스트셋 시뮬레이터에 넣어, 교통법규 준수, 운전 유사성, 목표 도달률 등을 종합 채점한다.
  • 하지만 부분적인 센서 데이터(카메라 x)만 있고 데이터 용량이 200TB에 달해 다 활용하기 어려우며, 시뮬레이션 속 상대 차량 반응 모델이 제한적이다. 그리고 여전히 특정 도시(미국/싱가포르 일부) 데이터로 편중되어 있다.
• AD4RL은 오프라인 RL 평가를 위한 벤치마크로 등장했지만, 이것은 강화학습 알고리즘 비교에 초점이지 종합 주행성능 비교와는 다르다.
• CARLA도 학계 리더보드가 존재하나, 가상 세계가 제한적이고 센서 구성이 단순화되어 실제 차량 시스템과 상당한 차이가 있다. 요컨대, 표준화된 평가 기준 확립이 아직도 진행형이다.

벤치마크의 범위 제한

• nuPlan, Waymo Open Dataset Challenge, CARLA Leaderboard 등 각종 벤치마크가 있지만, 국지적인 문제에 초점 맞춘 것이 많다.
• Waymo Open Dataset은 주로 인식/예측 성능 비교에 국한되고, CARLA Leaderboard는 규정된 센서세트로만 진행되어 실차 구성과 다를 수 있다.
• 평과 메트릭도 제각각이라, 한 벤치마크 1등 모델이 다른 벤치마크에서는 성능이 낮게 나오는 경우도 있다.

nuPlan (Motional)

특징

• 대규모(1500시간) 실제 주행 데이터 및 폐쇄루프 평가 프레임워크 제공
• 4개 도시 멀티모달 센서(카메라, LiDAR 등) 로그와 시나리오 기반 평가 지표
• ML 기반 플래닝 알고리즘 성능을 종합적으로 비교 가능하게 함

한계점

• 데이터셋 용량 200TB로 활용 부담
• 일부 센서(카메라) 미포함 등 제한된 센서 정보
• 미국/싱가포르 도시 위주로 지역 편중 존재
• 시뮬레이션 내 상황 전개 및 에이전트 반응 한계

AD4RL (KAIST)

특징

• 오프라인 RL 연구용 데이터셋/벤치마크 제공
• 19개 시나리오, 실제 인간 운전 데이터 활용 등 강화학습에 현실데이터 접목 시도
• 여러 RL 알고리즘을 통일 프레임워크에서 비교하도록 설계

한계점

• 오프라인 RL 과제 한정 (주행 전체 성능 아닌 알고리즘 비교 초점)
• 제공 데이터로 학습한 정책의 온라인 동작 검증은 별도 과제
• Value-based 데이터셋 중심으로, 정책기반 방법에의 일반성 미지수

CARLA 시뮬레이터

특징

• 오픈소스 가상 주행환경으로 연구 표준 플랫폼
• 사용자 정의 시나리오, 센서 추가 등 유연성 높음
• 학계 벤치마크 통해 발전

한계점

• 물리/센서 모델 단순화로 현실과 차이 (라이다 노이즈 없음)
• 교통 AI 단순 (타 차량/보행자 행동 다양성 부족)
• 그래픽 리소스 제한으로 극한 상황 (악천후, 야간) 표현 부족
• 종합 플랫폼이지만 상용 차량 시스템과 괴리

Waymo Open Sim Agents (WOSAC)

• Waymo 주관, 주변 에이전트 시뮬레이션 품질 평가 챌린지
• Dataset 기반 멀티에이전트 시뮬레이터 (Waymax) 공개
• 에이전트 거동의 현실 분포 일치도를 NLL 등으로 평가

한계점

• 에이전트 시뮬에 집중, 자차 플래너 평가와는 별개
• Waymo 데이터 기반이라 다른 환경 일반화 불명
• 충돌 데이터 부족

이처럼 현존하는 인프라는 각각 제한점을 가지므로, 다각도 평가가 중요하다. 실 도로 테스트, 다양한 시뮬레이터 실험, 풍부한 데이터셋 학습을 모두 활용해 상호 보완해야 한다는 점이 업계의 합의다.