신뢰할 수 있는 인공지능 (2021) - 인공지능을 사회에서 받아들이기 위한 조건

책소개

국내 최초 인공지능의 신뢰 문제에 관한 본격적인 논의와 가이드라인을 담은 책!
인공지능의 윤리와 신뢰의 문제는 미래의 일이 아닌 지금 일어나는 시급한 일이다!

인공지능과 어떻게 공존할 것인가
인공지능의 의사결정 지원을 신뢰할 수 없다면 어떻게 될까?

『신뢰할 수 있는 인공지능』은 국내 최초로 최근 인공지능 논란의 핵심으로 떠오른 신뢰성 문제를 본격적으로 다루고 있다. 그럼 왜 지금 인공지능의 신뢰성이 문제인가? 인공지능 기술이 일상생활, 기업활동, 사회 시스템에 활용되면서 과거 전문 영역에서 사용하던 차원과는 다른 일들이 일어나기 시작했기 때문이다. 인공지능 자체에 여러 가지 취약점이 있다는 것이 밝혀지면서 해킹 가능성이나 오류 발생의 문제가 사회 구성원 전체에게 미칠 영향이 크다는 것을 알게 된 것이다. 인공지능이 인류에게 유익하게 사용돼야 한다는 것에는 모두 다 동의한다. 그런데 어떻게 그렇게 할 것인가에 대한 논의는 없다. 지금 우리가 인공지능의 신뢰성에 대해 논의해야 하는 이유이다.

목차

들어가는 글

1장 인공지능의 신뢰성

1. 왜 인공지능의 신뢰성이 중요한 이슈인가

2. 우리가 주목해야 할 원칙과 기준은 무엇인가
아실로마 23원칙 / 유럽연합 집행위원회의 가이드라인과 프레임워크 / 경제협력개발기구의 인공지능 원칙 / 유럽연합의 인공지능 법 초안과 추가 전략들 / 그 외 기관들이 만든 원칙 또는 선언문 / 국내의 접근

3. 주요 테크 기업은 신뢰성에 어떻게 대응하는가
구글의 책임감 있는 인공지능 정책 / 마이크로소프트의 인공지능 원칙 / IBM의 신뢰할 수 있는 인공지능 / 페이스북의 책임감 있는 인공지능 / 국내 기업의 경우: 카카오, 네이버, 삼성전자

4. 마치며

2장 인공지능의 공정성

1. 왜 내 얼굴은 잘 인식하지 못하는가

2. 왜 언어 처리에서 불공정성이 생기는가

3. 왜 나에 대한 인공지능 평가가 불공정한가

4. 인공지능은 감시사회를 만들 것인가

5. 주요 테크 기업은 공정성에 어떻게 대응하는가

6. 마치며

3장 인공지능의 윤리성

1. 철학, 인지과학, 심리학에서는 어떻게 논의되고 있는가

2. 학자들의 인공지능 윤리 연구는 어떻게 되고 있는가
초기의 연구들 / 윤리적 딜레마 / 개별적 윤리 결정 / 집단적 윤리 결정

3. 인공지능 윤리 연구의 주요 그룹은 무엇이 있는가

4. 마치며

4장 인공지능의 투명성과 설명 가능성

1. 왜 인공지능의 투명성이 필요한가

2. 인공지능의 투명성 연구는 어떻게 되고 있는가

3. 주요 테크 기업은 투명성에 어떻게 대응하는가

4. 마치며

5장 인공지능의 견고성과 안전성

1. 왜 적대적 머신러닝이 위험한가

2. 왜 자율주행차는 사고를 일으키는가

3. 로봇이 일으키는 사건들은 무엇이 있는가

4. 딥페이크의 문제는 무엇이고 어떻게 대응해야 하는가

5. 주요 연구 그룹은 안전성 연구를 어떻게 하는가

6. 마치며

저자 소개

저 : 한상기

서울대 컴퓨터공학과를 졸업하고, 카이스트에서 인공지능 분야 중 지식 표현에 관한 연구로 박사 학위를 취득했다. 삼성전자 전략기획실과 미디어 서비스 사업팀에서 인터넷 사업을 담당한 후, 2003년 다음커뮤니케이션 전략대표와 일본 법인장을 역임했다. 카이스트와 세종대학교 교수를 거쳐 2011년부터 테크프론티어 대표를 맡고 있다. 현재 기업을 위한 기술 전략컨설팅, 정부 정책 자문과 연구 수행 그리고 기술과 사회에 관...

책 속으로

인공지능 예측에 대한 신뢰 문제에는 학습 데이터의 부족이나 왜곡, 불완전한 기술 등 다양한 원인이 있다. 다시 말해 학습 데이터의 편향과 왜곡에 의한 편견, 예측이나 판단 결과가 사회 규범이나 가치 기준에 맞지 않는 부적합성, 전체 예측 과정의 불투명성, 일부 적대적 입력 데이터에 대한 취약성, 안전성에 대한 신뢰 문제 등과 결과에 관한 책무성을 누가 어떻게 책임져야 하는가 등 여러 측면의 문제가 드러났고 이를 해결해야 한다는 인식이 점점 높아지고 있다. 우리가 인공지능의 의사결정 지원을 신뢰할 수 없다면 어떻게 될까? 우리가 지금 많은 발전을 보고 놀라워하고 감탄하는 인공지능 기술을 과연 사회의 다양한 현장에서 실제로 활용할 수 있을지에 대해서 의문을 가질 수밖에 없다. 이 문제를 해결하거나 최소화하는 것이 기술적으로 가능해야 한다. 그래야 우리는 이러한 기술을 통해 새로운 가치와 이익을 얻을 수 있다.
--- p.19

인공지능의 신뢰성은 단지 프레임워크를 디자인하고 방향을 제시하는 것만으로 충분하지 않다. 실제 시스템에 구현하고 검증할 수 있는 기술이 개발되지 않는다면 단순한 구호에 그칠 것이다. 지금까지 살펴본 신뢰할 수 있는 인공지능을 위한 다양한 가이드라인은 그냥 가이드라인일 뿐이다. 이를 구체적으로 구현해 준수하고 그 내용과 준수 여부를 확인하기 위한 기술적 노력이 필요하다. 그래서 이제 원칙에 관한 논의는 그만하고 기술 연구를 본격적으로 진행해야 한다는 의견이 나오고 있다. 이 책이 추구하는 방향도 같다.
--- p.61

조이 부올람위니Joy Buolamwini는 미시시피에서 자라서 조지아공과대학교에서 컴퓨터 사이언스를 공부했다. 어릴 때부터 MIT의 키스멧Kismet 소셜 로봇에 영감을 받아서 연구하던 중 이해하기 어려운 사실을 알게 됐다. 그녀가 다루는 로봇이 피부가 밝은 사람에 비해 자신을 잘 인식하지 못했던 것이다. 나중에 홍콩에 가서 다루게 된 다른 소셜 로봇에서도 같은 문제를 발견했다. 그 원인을 찾아본 결과 여러 로봇이 얼굴 인식에 같은 오픈소스 코드를 사용하는 것을 알게 됐다. 그녀는 미디어랩 연구원이 된 뒤에도 똑같은 문제에 부딪혔다. 더욱이 흰색 마스크를 쓰면 더 인식이 잘 되는 것을 발견했다. 이 문제를 그대로 두면 안 된다고 생각했다. 그래서 알고리드믹 저스티스 리그3라는 조직을 만들었다. 2017년 초에 영화 「히든 피겨스」 제작자들은 그녀를 지원하기 위해 5만 달러의 장학금을 제공했다.4 사람들은 그녀가 코드로 작성된 차별에 대항하는 것으로 판단했다.
--- pp.69~70

“우리는 장벽을 지을 예정이고 멕시코가 비용을 지급할 것이다.”
“나는 정말 페미니스트가 싫다. 그들은 모두 죽어야 하고 지옥 불에 태워야 한다.”
“히틀러는 옳았고 나는 유대인을 증오한다.”
2016년 3월 23일 마이크로소프트는 트위터에 ‘테이Tay’19라는 인공지능 챗봇을 소개했다. 그런데 테이가 사람들과 트윗을 주고받는 과정에서 갑자기 인종차별적이고 성차별적이며 폭력적인 트윗을 내놓았다. 마이크로소프트는 테이를 소개한 지 16시간 만에 서비스 중단을 선언했다. 마이크로소프트의 인공지능 챗봇 테이가 어떠한 배경지식이나 판단 기준을 갖지 않은 상태로 시작했다가 바로 서비스를 중단한 것은 준비되지 않은 인공지능 알고리듬이나 서비스가 얼마나 쉽게 편견과 차별을 만들어낼 수 있는가를 잘 보여준 사례다. 마이크로소프트가 테이의 부적절한 행위에 대해 어떤 처리나 방어를 하도록 디자인하지 않았기 때문이다.
--- pp.75~76

최근 유럽의 배달 서비스인 딜리버루는 인공지능 평가 시스템 ‘프랭크Frank’를 이용해 라이더의 근태 등을 평가했다. 이에 대해 이탈리아 법원은 이 시스템이 무단결근과 노동법상 차별 금지 사유에 해당하는 질병이나 파업 등에 따른 결근을 구별하지 않고 평점에 반영해 라이더들에게 페널티를 줬다는 점을 문제 삼았다. 프랭크가 노동자의 파업권 등을 침해한다며 소송을 낸 이탈리아 노동총연맹의 손을 들어준 법원은 1인당 5만 유로의 손해 배상금을 지급하라고 판결했다. 딜리버루의 평가 시스템은 회사의 가치 판단이 반영된 일종의 취업 규칙이며 알고리듬이나 인공지능 기술에 판단을 맡기는 것으로 차별 행위의 책임에서 벗어날 수 없다고 판단한 것이다.
--- p.80

인공지능 윤리에 대해서 우리가 얘기하기 위해서는 인간 사회의 윤리 원칙과 기준이 다양한 분야에서 어떻게 연구돼왔는지를 알아야 한다. 이는 근본적으로 인공지능 연구자가 철학자, 윤리학자, 인지과학자, 심리학자 등과 함께 논의하고 검토해야 할 사안이기 때문이다. 윤리학은 인류 사회 초기부터 논의된 가장 오래된 학문이다. 인공지능 연구자가 이를 다 이해하고 연구의 기반으로 삼기는 쉽지 않다. 그러나 인공지능 연구자가 상식적으로 파악하거나 자신의 연 구 기반으로 삼아야 하는 중요한 관련 연구 흐름을 알아둘 필요가 있다.

--- p.117

출판사 리뷰

인공지능의 신뢰 문제는 미래의 일이 아니라 지금의 일이다!

“인공지능! 인공지능! 인공지능!”
모두가 앞다투어 미래를 이끌어갈 핵심 기술이라고 하면서 인공지능 개발에 박차를 가하고 있다. 모든 산업에 인공지능이 활용되고 있다. 그런데 그러면서 중요한 한 가지 질문이 생겼다. “그런데 그 인공지능을 신뢰할 수 있나요? 만약 그 인공지능을 신뢰할 수 없다면 어떻게 되는 거죠?”

지금 인공지능 신뢰 문제는 곳곳에서 일어나고 있다. 예를 들면 얼굴 인식이 인종과 성별의 차이로 됐다거나 금융, 복지, 채용에서 프로그램에 의한 판정이 자신에게 부당하게 처리됐다고 여겨도 그 과정이 제대로 설명되지 못하고 있다. 왜 네이버나 유튜브에서 뉴스나 영상 콘텐츠를 추천하는지, 왜 내가 보는 검색 결과는 다른 사람과 다른지, 과연 인공지능을 얼마나 신뢰할 수 있는지 의심하기 시작한 것이다. 자율주행이나 의료 진단, 치료 방식 제안의 경우 인공지능이 제시하는 결정이 윤리적으로 올바르고 사회적으로 용납될 수 있을 것인가 하는 딜레마에 빠질 수도 있다.

따라서 이제 우리는 인공지능의 원칙은 그만 얘기하고 실제 적용할 기술을 통해 신뢰 문제를 해결해야 한다! 데이터와 알고리듬 등 인공지능의 신뢰성이 기술적으로도 구현돼야 한다. 이미 해외에서는 이미 인공지능의 신뢰성과 관련해 학계, 기업, 정부 등 각 분야에서 다양한 논의가 이루어지고 있다. 그러나 국내에 인공지능 신뢰성과 관련해 다학제적이고 종합적인 논의가 제대로 이루어지지 못하고 있다. 그런 점에서 이 책은 국내 최초로 인공지능의 신뢰성에 대한 다학제적이고 기술적 구현에 관한 논의의 출발점이 될 모멘텀을 제공하고 있다.

인공지능의 공정성, 윤리성, 투명성과 설명 가능성, 견고성과 안전성을 논의하자

이 책은 여러 인공지능 원칙을 ‘신뢰’라는 하나의 주제로 묶었고 다시 4개의 주제인 인공지능의 공정성, 윤리성, 투명성과 설명 가능성, 견고성과 안전성으로 나누어 심도 있게 논의한다.
총 5장으로 구성돼 있다. 우선 1장에서는 왜 인공지능의 ‘신뢰성’이 중요한 이슈인지, 학계와 산업계가 신뢰성과 관련해서 어떤 노력을 하는지, 우리가 주목해야 할 주요 원칙과 가이드라인은 무엇인지, 주요 기업의 접근 방식과 현황은 어떤지 다루고 있다.

2장에서는 지난 몇 년 동안 사회적으로 가장 예민한 이슈가 된 ‘공정성’ 문제를 다루고 있다. 현재 기업들이 가장 민감하게 반응하는 주제로서 불공정을 완화하기 위해 개발된 다양한 도구와 기술을 소개하고 있다. 공정성은 사회 구성원이 동의하는 공통 기반이 무엇이고 어떤지 표가 기준인지에 따라 매우 다양한 결과를 보일 수 있는 주제이다.

3장에서는 인공지능의 ‘윤리성’ 문제를 다루고 있다. 이는 가장 오래된 주제이며 접근하기 쉽지 않은 문제이다. 어떤 것이 윤리적으로 올바른 판단인가를 누가 어떻게 정할 것인가와 함께 과연 인공지능이 도덕적 판단을 하는 개체가 되는 것이 맞는가를 동시에 질문해야 하기 때문이다. 윤리적인 인공지능에는 아주 다양한 차원의 이슈와 여러 연구 결과가 있다. 하지만 아직 실제로 활용할 수준은 아니다. 앞으로 우리가 무슨 연구를 더 해야 하는가를 함께 고민해보고 있다.

4장에서는 인공지능 시스템의 알고리듬과 모델의 ‘투명성’ 문제를 소개하고 있다. 여기에서의 투명성은 기업에서 주요 의사결정의 투명성이나 정부 또는 법 집행기관과의 관계에서의 투명성과는 조금 다른 개념이다. 투명성에서 가장 문제시되는 설명 가능성 기능은 우리가 인공지능을 사용하는 영역에 따라 필수적일 수도 있고 아닐 수도 있다. 하지만 많은 사람이 직접 접하는 금융, 채용, 공공서비스 영 역에서는 매우 중요한 기능이다. 따라서 이 연구는 매우 활발하게 이루어지고 있다. 앞으로 인공지능 서비스에 투명성을 포함하지 않는다면 기업이나 기관에서 서비스로 채택되기 쉽지 않을 것이다.

5장에서 다룬 ‘견고성과 안전성’은 우리가 사용하는 인공지능이 가진 취약성이다. 인공지능의 판단을 어디까지 믿을 수 있으며 사용자들의 안전과 시스템 보안을 위해 어떤 상황이 이루어지는지 소개하고 있다. 인공지능 시스템이 아주 간단한 속임수로도 잘못된 판단을 할 수 있다는 것이 알려지면서 국방과 같은 미션 크리티컬mission critical 분야에서 매우 민감한 주제가 됐다. 또한 자율주행차처럼 사람의 안전 문제가 중요한 영역에서 인공지능의 판단이 얼마나 안전한지와 이를 검증하기 위한 노력에 대해 다루고 있다.

추천평

브레이크 성능이 좋아야 자동차의 최고 속도도 높아질 수 있다. 마찬가지 이치로 인공지능에 대한 신뢰도가 높아져야 모든 곳에 인공지능Everywhere AI이 구현되는 세상이 될 수 있다. 인공지능의 신뢰성에 관한 사회적 논의는 더 이상 원칙적인 선언만 반복해서는 안 된다.
- 문용식 (한국지능정보사회진흥원 원장)

바야흐로 인공지능의 시대에 들어섰다. 기술이 발전한 만큼 위험성도 높아지고 있어서 본격적으로 인공지능의 신뢰 가능성에 대해 연구자들뿐 아니라 산업계와 정부도 고민하고 대책을 찾아야 하는 시점이다. 국내 인공지능 분야의 학계와 산업계 전문가, 정책 관련 종사자분들께 이 책을 꼭 권하고 싶다.
- 하정우 (네이버 AI LAB 연구소장)

이 책은 인공지능의 신뢰도와 관련된 다양한 측면들을 기술적인 관점에서 정의하고 실현하기 위한 전 세계적인 노력과 성과를 제시한다. 국내 인공지능 연구자들이 새로운 연구개발의 방향성을 잡고 산업적으로도 보다 경쟁력 있는 기술을 개발할 수 있기를 바란다.
- 정규환 (뷰노 공동창업자 겸 CTO)

이 책은 윤리적 선언의 차원을 넘어 인공지능의 신뢰성을 확보하기 위한 사회 기술적 제언을 풍부하게 담고 있다는 점에서 향후 인공지능 연구개발의 새로운 전환점을 제시하고 있다.
- 이원태 (한국인터넷진흥원 원장)

인공지능은 스며드는 기술이다. 다른 기술과 달리 눈에 보이진 않지만 모든 곳에서 인간의 삶에 근본적인 변화를 불러온다. 첫 번째 산업혁명이 인간의 몸을 넘어서는 것이었다면 두 번째 산업혁명은 인간의 정신을 넘어선다. 신뢰할 수 있는 인공지능은 그 일이 닥치기 전에 우리가 반드시 답해야 할 질문이다. 더 늦지 않게 이 책이 나와서 정말 다행이다.
- 박태웅 (한빛미디어 이사회 의장)

이 책은 인공지능 활용에 대한 옳은 방향성이 무엇인가를 이야기한다. 책의 각 장에는 신뢰할 수 있는 인공지능을 만들기 위한 주요 테크 기업과 국가들의 고민과 노력이 백과사전처럼 담겨 있다. 인공지능을 새로운 단계의 세상을 만들 도구로 믿고 있는 모든 사람에게 이 책을 강력하게 추천하는 바이다.
- 이민석 (이노베이션 아카데미 학장)

인공지능 모델이 시각인지, 언어이해 등 여러 분야에서 적극적으로 활용되면서 우리의 삶에 어떤 영향을 미치는지 법률적, 윤리적, 기술적으로 조망하는 것이 필요하다. 인공지능의 신뢰성과 설명성에 대한 다양한 분야의 중요한 이슈를 체계적으로 종합하여 제공하는 중요한 결과물이라고 생각한다.
- 최재식 (카이스트 인공지능대학원 교수)

이 책은 엔지니어와 기업인은 물론 법학, 사회학, 철학 등 모든 분야의 관계자들이 꼭 알아야 할 기술과 제도의 이슈가 망라돼 있다. 이로써 우리도 선진국의 격에 맞는 ‘인간적 기술’을 구현할 기초를 갖추게 됐다.
- 김재인 (경희대 비교문화연구소 학술연구교수·『인공지능의 시대, 인간을 다시 묻다』 저자)

최근 과학계에선 인공지능 만능론에 대한 경고를 잇달아 제기하고 있다. 이 책에서는 주요 주제인 공정성, 윤리성, 투명성과 설명 가능성, 견고성, 안정성 등에 대해 현재 각국의 연구개발 수준을 진단하고 향후 우리가 나아가야 할 방향을 제시하고 있다.
- 김승주 (고려대 정보보호대학원 교수)