●이 기사의 요점
・한국이 ‘하이리스크 AI’를 원자력, 의료, 채용, 대출 심사까지 폭넓게 규제. 로그 저장과 설명 책임이 기업의 새로운 필수 조건이 된다.
・역외 적용으로 일본 기업도 한국 시장에서 AI를 제공하면 규제 대상이 될 수 있다. GDPR 수준의 컴플라이언스 대응이 요구된다.
・세계의 AI 규제는 EU, 미국, 한국으로 삼극화. 일본 기업은 실태 파악과 감독 체계 정비로 투명성을 확보하고 규제 시대의 경쟁력을 구축해야 한다.
“AI 규제는 EU의 이야기겠지”――. 이렇게 생각했던 일본 기업들은 지금 위험한 인지 편향에 빠져 있다.
한국이 본격적인 AI 규제, 이른바 ‘하드 로(법적 구속력이 있는 규제)’를 도입하면서 아시아의 규제 지형도가 확실히 변화하기 시작했다. 더욱이 초점은 ‘생성 AI의 폭주’에만 맞춰져 있지 않다. 원자력 발전소 제어부터 의료, 교통, 행정 급여, 채용, 대출 심사까지――국민의 생명이나 기본 인권에 영향을 미칠 수 있는 AI를 ‘고영향(하이리스크) AI’로 폭넓게 정의하고 엄격한 의무를 부과하는 구조로 되어 있다.
더욱이 일본 기업에게 핵심은 이것이 ‘한국 내에서만의 이야기’로 끝나지 않는다는 점이다. 한국 시장에 서비스를 제공하고 한국 국민에게 영향을 미친다면 일본 기업이라도 ‘몰랐다’는 변명으로는 끝나지 않을 가능성이 높다. GDPR(EU 일반 데이터 보호 규정)이 그랬던 것처럼 AI 규제도 ‘역외 적용’이 현실적인 경영 과제로 다가오고 있다.
본고에서는 한국형 AI 규제의 본질을 정리하면서 일본 기업이 직면하는 실무적 영향과 ‘다음 대응 전략’을 밝힌다.
●목차
‘하이리스크 AI’의 정의가 너무 광범위하다――원자력부터 대출 심사까지가 대상
그렇다면 구체적으로 어떤 AI가 규제의 대상이 될 수 있을까. 한국의 새로운 규제 체계에서는 국민의 생명·신체, 기본 인권에 중대한 영향을 미칠 가능성이 있는 분야를 ‘고영향(하이리스크) AI’로 규정하고 사업자에게 강한 책임을 부과하는 설계가 되어 있다.
주목할 점은 ‘생성 AI’ 등 특정 기술 카테고리를 겨냥하기보다는 사회적 영향의 크기를 축으로 ‘용도’에 따라 규제한다는 것이다. 이는 EU의 AI 규제와 유사한 접근 방식으로, 기업이 ‘AI인지 아닌지’를 따지기보다는 ‘어디에서 사용되는지’가 중요한 기준이 된다.
초안에서 언급된 영역을 정리하면, 규제의 범위는 주로 다음 4개 분야에 걸쳐 있다.
생명·안전 분야: 사고 한 번으로 사회가 붕괴할 수 있는 영역
・원자력 발전소의 제어
・의료 기기의 진단 보조
・교통 시스템(자율주행 등)
이 영역의 AI는 오작동이 즉시 ‘인명’과 직결된다. ‘높은 정확도’는 기본이며, 예상치 못한 상황에서 ‘정지할 수 있는지’ 또는 ‘인간이 개입할 수 있는지’가 중요한 문제로 대두된다.
“하이리스크 AI 논의에서 간과되기 쉬운 것은 ‘성능’보다 ‘운영 설계’입니다. 아무리 정확도가 높아도 예외 처리나 책임 소재가 불분명하면 사고를 방지할 수 없습니다.”(사이버 보안 컨설턴트 신실겸 씨)
금융·신용 분야: AI가 ‘인생의 격차’를 고착화할 수 있는 영역
・은행의 대출 심사
・보험 가입 가능성 판단(신용 점수 평가)
이 분야의 본질적인 위험은 AI가 ‘누구에게 기회를 줄 것인가’를 자동으로 결정해버린다는 점이다. AI가 대출을 거부한다고 판단하면 그 사람은 주택 구입, 교육, 창업의 기회에서 멀어지게 된다. 즉, 신용 AI는 단순한 업무 효율화 도구가 아니라 ‘사회적 기회의 관문’을 통제하는 장치가 되고 있다.
권리·기회 분야: 채용·입시·평가에서 ‘보이지 않는 차별’이 발생할 수 있는 영역
・기업의 채용 면접
・대학 입시 판정
・인사 평가 시스템
AI 면접이나 동영상 선별이 보편화되면 ‘채용의 공정성’ 자체가 블랙박스화되기 쉽다. 만약 탈락 이유를 설명할 수 없다면 기업은 법적으로도 평판 측면에서도 중대한 위험을 감수해야 한다.
공공 분야: 국가 권력과 AI가 결합하는 영역
・행정의 급여금 판단
・범죄 수사 지원 등
행정 영역에서 AI가 오판을 내렸을 경우, 개인은 ‘생활의 기반’을 순식간에 잃을 수 있다.
수사 지원 AI의 경우는 더욱 심각하여, 오판이 무고한 사람의 억울한 누명이나 감시 사회로 직결될 수 있다.
“공공 분야의 AI는 ‘민간의 실패’와는 차원이 다릅니다. 오판이 초래하는 것은 단순한 손실이 아니라 권리 침해입니다. AI의 판단에 ‘이의를 제기’할 수 있는 제도적 장치가 반드시 필요합니다.”(동)
‘적합성 평가’, ‘로그 저장’, ‘인간 감독’――요구되는 것은 ‘AI의 설명 책임’이다
고영향 AI를 다루는 사업자에게 요구되는 것은 단순한 주의 의무가 아니다. 제품이나 서비스를 시장에 내놓기 전의 ‘적합성 평가’, 운영 중의 ‘로그(기록) 저장’, 그리고 ‘인간이 감독할 수 있는 체계’ 구축이 전제 조건이 된다.
이는 간단히 말해, AI의 설명 책임을 기업에 강제하는 규제다.
예를 들어, 은행의 신용 AI가 대출을 거부한 경우를 상상해보자. 그동안 ‘종합적으로 판단했습니다’라는 설명으로 넘어갔던 상황에서도 앞으로는 다음과 같은 상세한 설명이 요구될 수 있다.
・어떤 데이터를 참조했는가
・무엇이 위험 요소로 평가되었는가
・불리한 속성에 의한 차별이 없었는가
・인간이 어느 단계에서 개입할 수 있는가
즉, AI가 도출한 결론이 옳은지 여부 이전에 기업이 ‘왜 그렇게 판단했는지를 설명할 수 있는가’가 경쟁력의 핵심 요소가 된다.
여기서 많은 기업이 직면하는 문제는 ‘설명할 수 없는 AI’가 이미 업무의 중심에 자리 잡고 있다는 현실이다. 모델이 복잡해질수록 개발 담당자조차 판단 근거를 명확히 설명하기 어려운 경우가 많다. 그러나 규제 환경에서는 ‘블랙박스지만 정확도가 높다’는 것은 더 이상 면죄부가 되지 않는다.
“앞으로 기업이 직면할 리스크는 AI가 잘못된 판단을 내리는 것보다 ‘설명할 수 없는 것’에 있습니다. 투명성은 단순한 윤리적 문제가 아니라 필수적인 컴플라이언스 요소입니다.”(동)
일본 기업도 대상이 될 수 있는 ‘역외 적용’의 충격――”한국에서 사용된다면 규제를 준수해야 한다”
그리고 일본 기업에게 가장 까다로운 문제가 역외 적용이다.
이 법에는 한국 내에 사업장을 두지 않은 기업이라도 한국 내에서 서비스를 제공하거나 한국 국민에게 영향을 미치는 경우 규제가 적용될 수 있다는 해석의 여지가 있는 구조가 포함되어 있다.
이것이 의미하는 바는 명확하다. 서버와 본사가 일본에 있다는 이유만으로는 면책이 되지 않는다. 구체적으로 초안에 언급된 대로 다음과 같은 경우가 현실적인 ‘위험 요소’가 될 수 있다.
사례 1: 일본의 금융기관이 한국을 대상으로 AI 신용평가를 사용한다
・한국 지점에서 이용
・한국 거주자를 위한 앱에서 제공
・한국의 제휴 기업에 신용평가 API를 제공
신용평가는 바로 고영향 AI의 핵심 영역이며, 설명 책임, 로그 기록, 감독 체계가 엄격히 요구될 가능성이 높다.
사례 2: 일본의 게임·엔터테인먼트 기업이 한국 시장을 대상으로 생성 AI를 사용한 콘텐츠를 배포한다
생성 AI의 경우, 사회적 영향력이 큰 용도에 해당하는지가 중요한 판단 기준이 된다. 특히 ‘AI 생성 콘텐츠임을 명시하는 표시 의무’나 ‘워터마크’ 등이 제도적 요건으로 포함된다면 콘텐츠 제작 과정 전반에 걸친 혁신적 변화가 필요할 것이다.
사례 3: 일본의 제조업체가 한국의 병원·교통 기관에 AI 시스템을 납품한다
Most Commented