성공적인 AI 구축의 필수 요건, Trustworthy AI 만들기

많은 사람들이 AI의 엄청난 잠재력에 대해 듣고 있으며 AI의 활용에 대해 높은 관심을 가지고 있습니다. 하지만, 최근 들어 AI에 대한 부정적 보도들이 많아지고 있으며, AI를 통한 의사결정에 대한 우려도 커지고 있습니다. AI를 도입하고자 하는 조직의 입장에서는 잘못된 AI의 적용으로 회사의 이름이 뉴스 헤드라인을 장식하는 것을 원하지 않습니다. 또한 차별이나 불공정한 비즈니스 관행이 AI에 반영되는 것을 원하는 기업도 없을 것입니다. 책임감 있게 AI를 사용하는 것은 고객, 파트너, 직원과 신뢰 관계를 구축하는데 도움이 될 뿐만 아니라 경쟁사에 대한 차별화 요소가 될 수 있습니다.

최근 국내에서도 AI 적용과 관련한 구체적 법령 및 가이드라인이 제시되면서, 신뢰성 있는 AI(Trustworthy AI) 구축은 더 이상 선택이 아닌 필수 요건이 되고 있습니다.

AI의 가치만큼 커지는 AI 의사결정의 위험성

우리가 느끼고 있는 것처럼, 이미 많은 분야에서 의사결정 지원의 목적으로 AI가 활용되고 있습니다. 사람들의 보편적 의사결정과 비교해 볼 때, AI 기반의 의사결정은 다음과 같은 특성을 갖습니다.

가속성(Acceleration) – 뛰어난 컴퓨팅 성능을 활용, 실시간으로 더 많은 자동화된 의사 결정이 가능
증폭성(Amplification) – AI가 복제되어 여러 환경에서 빠르게 의사 결정을 내릴 수 있으므로 잘못된 결정의 영향이 증폭됨
책임(Accountability) – 문제 발생 시 누가 책임을 지는가?

즉, AI의 엄청난 가치만큼이나, AI의 잘못된 의사결정에 따른 영향 또한 보다 빠르고 광범위하게 증폭되며, 그에 따른 책임의 문제가 훨씬 커질 수 있음을 알아야 할 것입니다.

이러한 배경에서 신뢰성 있는 AI(Trustworthy AI)가 주목받는 것은 매우 당연하다고 할 수 있습니다. 신뢰성 있는 AI란 윤리적 방식으로 AI를 개발하거나 사용하고, 사람에게 해를 끼치지 않도록 보장하며, 사회의 가치를 반영하는 AI를 의미합니다. 이는 단지, “AI로 무엇을 할 수 있나?”에 대한 고민 못지 않게 “AI 적용 과정에 어떤 고려가 필요한가?”에 대해 병행적 접근이 필요함을 의미하기도 합니다.

왜 신뢰성 있는 AI에 투자해야 하는가?

조직 또는 기업이 신뢰성 있는 AI에 마땅히 투자해야만 할 여러 이유가 존재합니다.

도덕적 의무 – AI가 큰 가치를 제공하지만, 의도하지 않은 대규모의 피해를 줄 수 있으므로 마땅히 사전 대응을 위한 노력 필요
경쟁 우위 – 신뢰할 수 있는 AI에 투자한 기업은 차별화 및 잠재적으로 경쟁 우위를 확보할 수 있는 반면, 그렇지 않은 기업은 잘못된 비즈니스 의사 결정의 위험이 커짐
규정 준수 위험 – 해외 및 국내에서 AI 관련 법률과 규제가 제정되고 있음
평판 리스크 – 기업의 ‘윤리성’을 중요시하는 소비자들의 특성이 더욱 강화되고 있음

규제 대응 및 원칙 수립

전세계에서 AI관련 규제 법안이 등장하고 있습니다. 대표적으로, 인간 중심의 신뢰할 수 있는 AI 활용을 위한 인공지능 법안이 올 6월 EU 유럽의회를 통과하였으며, 2026년부터 시행 예정입니다. 위반 기업에게 연간 글로벌 매출의 6%에 해당하는 과징금을 부과하는 강력한 법안이 될 것으로 예상되고 있습니다. 미국의 경우, 연방 차원에서 AI를 행정기관, 국방, 범죄수사 등에 활용하기 위한 안보 중심의 접근이 이루어지고 있으며, 주 차원에서는 인종, 성별, 장애 등으로 차별이 발생하지 않도록 하는 “알고리즘에 의한 차별중지법”, 또는 채용과정에서 AI 적용시에 편향성의 여부를 검증받도록 하는 등의 구체적 규정들이 제시되고 있습니다.

국내의 경우 수년 전부터 금융권을 중심으로 관련 기관에서 AI 가이드라인을 제시해 왔습니다. 더욱 주목해야 할 부분은 올 9월에 개정된 개인정보보호법에서 AI 기반의 자동화된 시스템이 준수해야 할 의무사항을 구체적으로 제시하고 있다는 점입니다. 내년 3월로 적용이 눈앞에 다가온 이 법안의 주요 내용은 다음과 같습니다.

[그림 1] 개정된 개인정보보호법의 자동화된 시스템 요구사항

법안에서는 크게 AI 시스템을 운영하는 기업에게 1) AI 의사결정에 대한 설명을 위한 준비, 2) 자동화된 결정의 기준과 절차, 처리 방식에 대한 투명성을 요구하고 있습니다. 이에 대해 어떠한 대응이 필요할지 조금 더 살펴보겠습니다.

[그림 2] AI 의사결정의 설명 및 투명성 확보를 위한 분석 프로세스

첫번째로, AI 의사결정에 대한 설명을 제공하고자 할 때, 그 내용에는 알고리즘이나 변수, 작동원리 등이 포함될 수 있습니다. 하지만, 전문가가 아닌 일반 대중을 대상으로 하는 설명에는 어떤 핵심 요인(변수)이 의사결정에 중요하게 작용했는지에 대한 내용이 주가 될 것으로 예상할 수 있습니다.

한편, 설명을 제공하기 위한 기능도 필요하겠지만, 본질적으로 더욱 중요한 부분은 의사결정 설명의 내용에서 이슈가 발생하지 않도록, 공정하며 편향성이 최소화된 AI 모델을 만드는 작업이라고 할 수 있습니다.

여기서 공정성(Fairness)이란 어떤 그룹에 대한 편견이나 차별을 배제하고, 어떤 결정이 모든 사람에게 공평하고 공정하게 적용되도록 하는 것을 말합니다. 또한 편향성(Bias)은 어떤 결정이 인종, 성별, 연령대의 특정 그룹이나 개인에게 불리한 방식으로 영향을 미치는 것을 의미합니다. 일반적으로 어떤 의사결정에서 편향성이 발생하면 공정성을 해치게 된다고 말할 수 있습니다.

예컨대, 대출 승인 결정을 위해 학력과 나이에 편향성을 지닌 AI 모델로 의사결정을 한다면 다음과 같은 설명이 제시될 수 있으며, 이는 공정성 또는 편향성의 이슈로 연결될 수 있습니다.

“아쉽게도 고객님의 대출이 거절되었습니다. 주요 사유는 고객님의 학력이 중졸이고, 나이가 60대 이상인 점이 영향을 미쳤습니다.”

이때 모델링 과정에서, 학력, 나이와 같은 편향성을 유발할 수 있는 변수를 배제하는 대신, 고객 등급과 같은 대체 변수를 발굴하여 원하는 수준의 예측 성능을 제공하는 모델을 만들었다면, 다음과 같은 설명이 가능할 것입니다.

“아쉽게도 고객님의 대출이 거절되었습니다. 주요 사유는 고객님의 고객등급이 영향을 미쳤습니다. 추가 상품을 구매하여 고객 등급을 높이면 승인 가능성을 높일 수 있습니다.”

두번째 주요 요구사항은 자동화된 결정의 투명성 부분입니다. 현실 세계에서 AI 모델은 복잡한 비즈니스 룰과 연계되어 의사결정에 활용됩니다. 만약 어떤 복잡한 AI 모델과 의사결정 로직이 수만 라인 이상의 복잡한 프로그램 코드 형태로 존재한다면, 향후 정보주체가 의사결정의 기준과 절차, 처리방식을 쉽게 확인할 수 있도록 해야 한다는 법률적 요구사항을 만족하기 어려울 것입니다.