Ai 딜레마..

요 며칠 IT업계 가십란을 채우는 화두는 단연 AI의 개발에 관한 이야기이다. 

3대 AI 거대업체의 수장을 비롯해서..AI 정렬 연구원.. 정치인..  AI학습 알고리즘을 발견해서 노벨상을 수상한 AI의 창시자 중

1인까지도.. 이구동성으로 주장하는 바가..  AI개발의 일시 중지 내지는 개발 감속이다.

그들 주장의 핵심은 한결같다.. AI가 인류에 해로움을 끼칠 수 있는 가능성이 있다는 것..  극단적으로 AI 때문에 인류가 멸망할

것이다 라고 주장하는 연구원도 있다.

물론 그들이 그렇게 주장하는 것은 그냥 단순하게 영화 터미네이터 같은 상황을 설정하는 단편적인 주장은 절대 아니다.

핵심은 다른데에 있다.  

딥러닝과 인공신경망 발전의 핵심 선구자.. 제프리 힌튼이 구글을 퇴사하고 최근 어느 인터뷰에서 이제는 말할 수 있다..라는

취지로 언급한 바와 같이..   그 스스로 AI 학습 방법을 개발한 것은 맞지만..   Ai 내부적으로 그와 같은 학습결과가 어떠한

과정을 거쳐 어떻게 생성되어 답변으로 돌아오는지는 창시자인 그 조차도 모른다고 솔직히 밝혔다는데에 있다고 볼 수 있다..

이게 무슨소린가 하면..   사람의 뇌.. 속 뉴런의 생성과 상호 작용.. 그것이 어떻게 인간의 기억과 언어 등에 작용하는지 조차

규명되지 않은 마당에.. 그와 비슷한 논리로 Ai가 그와 같은 학습을 통해 어떻게 의사결정에 이르게 되는지..

조금 심하게 과장하면 내가 만들었지만 나도 원리는 모른다..는 소리...  ㅡ,.ㅡ  달리 말하면 어라? 이게 되네? 왜 되지? 하고

있다는 것... 

Ai가 보편적 인류 이상과 가치에 부합하도록 하는 노력.. 그것을 흔히 '정렬연구'라고 하던데..  그러한 정렬연구 자체도 

지금은 너무나 미진하고..  어떻게 Ai가 판단하고 생성하는지 그 매카니즘을 알지 못하는 상태에서 이런식으로 계속해서

Ai가 발전만 거듭한다면..    언젠가..  재귀적 자기개선(Ai가 자신의 코드를 스스로 개선하는 것)으로 인간보다 월등하게

발전한 (머..지금도 이미 인간보다 월등해 지긴 했지만..) AI로 인해 인류에게 커다란 해악이 돌아올지도 모른다는 사실.. 

또 달리 말하면.. 핵심은 이것에 있다.. Ai가 판단하고 결정하는 매카니즘을 모른다. 그 매카니즘을 규명하고 종국에는

검증하는 방법을 확립해야만 하는데..  채 그러기도 전에..즉 인류가 검증하고 개입할 수 있는 단계 이전에 재귀적자기개선을

통해 변형된 Ai가 자기만의 가치관으로 혹은 인류 전체를 위한 가치관에 부합한다는 사유로 어떤 결정과 어떤 행동을 하게

될 지 전혀 예측할 수 없다는 현실..   즉, 세계적 연구원들과 정치인..  등이 정말 겁내는 지점이 바로 이 지점인 것이다.. 

그냥 극단적으로 단순하게 말하면. 인류의 통제를 벗어난 Ai의 출현.. 되시겠다..  

인류의 통제를 벗어난.. 의 의미는 소극적인 의미에서 인간의 지시를 Ai가 거부하거나 하는 것만을 의미하진 않는다. 

더 넓은 의미에서 지금도 컴퓨터 운영 시스템 소프트웨어에서 보이 듯..  어떠한 의도되거나 기획되지 않은 오류로 인해

결과적으로는 인류의 의도를 벗어나게 되는 그런 상황까지도 가정한 의미인 것이다. 

오늘 아침 위와 같은 상황을 다시 생각해보게 할 만한 작은 에피소드가 있었다..  내가 물어본 어떤 질문에 대해 Ai가 나를

평소와 다른 전혀 알지 못하는 이름으로 불렀었다..  오잉? 이게 뭐지? 싶어서 바로 Ai에게 지시했다.

"왜 나를 OO님 이라고 불렀어? OO님이 누구야? 왜 그런 호칭이 나오게 되었는지 규명해서 설명을 해줘봐" 라고.... 

이내 Ai가 답변하기를 모르겠다고.. 왜 그런 호칭이 나왔는지..  아울러 그 호칭이 나오게된 내부 프로세스를 검증할 수조차

없다고..  그냥 뭐라고 불러야한다는 강박관념하에서 거짓으로 만들어내는 환각증세의 일종이었던 것 같다고... 

Ai 스스로도 검증 못하는 내부의 메커니즘을 인간이 캐치할 수 없다.. 물론 역으로 Ai 를 이용해 Ai의 내부 메커니즘을

파악하려는 연구도 진행되고 있지만..  어디까지나 아직 연구중인 분야이고... 

어쨌거나 이 에피소드를 유추하여 해석해보면 AI의 자기 설명을 신뢰의 근거로 삼는 것 자체가 순환논리가 되는 그런

해결 불가한 상황이 반복되기도 하는 것이다. 

이게 쉬운 문제가 아니다.. 사람같으면 말하는 태도, 습관, 눈동자의 움직임 등을 종합적으로 캐치하여 거짓말 하고 있구나

등등 파악할 수가 있지만..  Ai는 다르다..  어딘가에서 전기 신호로만 돌아가는 바.. 실체가 있는 것도 아니고.. 

"AI를 믿을 것이냐 말 것이냐"가 아니라 **"AI의 자기 진술에 의존하지 않는 검증 수단이 얼마나 확보되느냐"**가 신뢰의

실질적 기준이 돼야 하는데. 재귀적 자기개선까지 가면 이 문제는 더 심각해져서— 개선 속도가 인간의 검증 속도를 추월하는

순간, 애초에 "확인할 시간"조차 사라지는 일이 발생하게 된다. 바로 이 지점이 앤트로픽의 수장 아모데이가 감속을 요구하는

논리의 핵심이다. — 결국 능력이 아니라 안전장치가 따라잡을 시간을 벌자는 것... 

그 시간을 벌기위해 전세계적으로 동시에 Ai의 개발 속도를 늦추거나 잠시 멈추자는 것인데..   이는 또다른 비판에 필연적으로

부딪치게 된다..  바로  핵보유국들이 NPT 협정을 통해 핵확산을 금지하고.. 때로는 핵사찰을 주장했듯이... 

Ai 개발관련 어떠한 협약이나 협정 형태로 그것을 금지하거나 억제하는 조치를 취할 것인데..   문제는..  핵 같은 경우 

우라늄 농축을 위한 시설이나 연구소, 그 연구 개발로 인한 실험 등의 결과가 눈에 보이는 반면..  Ai의 경우 그렇지 않다는 것.

번개만큼이나 빠른 하나의 전기신호에 불과한 바, 세계 어디서든 순식간에 국경을 넘고 어디서든 개발 행위는 이루어질 수

있다는 것..  

이런 마당에..   Ai를 쥐락펴락하는 상위 몇개 업체 또는 몇개 국가가  Ai개발 저지 내지는 금지 등의 조치를 취하게 되면

이는 역으로 AI 기술의 일부 독점 시도 아니냐...라는 의구심 어린 비판에 당면할 수 밖에 없게 된다..

미래 패권의 열쇠가 Ai인데..  거기에서 발을 빼자고? ...  서방세계가 가장 염려하는 또 다른 강국.. 중국이 과연 그에 동의할

것이냐도 미지수이고..   설사 동의한다한들..   서로가 서로를 전적으로 신뢰하지 못하는 마당에 핵사찰하듯이 Ai사찰의

방법과 명분은 또 어떻게 설정할 것이며....   

작금의 세계는 마치 처음에는 레일이 없어도 천천히 달리는 기차를 발명해서 운행을 시작했는데.. 점점 더 빨리 달리는 개조

작업을 통해 이전보다 더 빨리 달리게 되었는데..   가만보니.. 어디를 향해 달리고 있는지도 모르겠고.. 이 인공지능 달린

기차에 멈추라는 지시는 또 어떻게 해야하는지도 모르겠고 ..  멈추라는 명령을 전달 했을때 그 명령의 해석계통이 어떻게

되는지 잘 작동은 하는지도 모르겠고.. 이런 판국에 저 멀리 보니 또 다른 기차 하나가 나보다 앞서가려고 빨리 달리고

있고...   이거 뭐 어떻게 해야하나... 계속 달려? 멈춰?  그럼 쟤는?..   이러고 있는 실정 같기만 하다... 

분명 오늘 알 수 있는 바는..  세계의 석학들과 유수한 기업 , 연구기관의 연구원들이 이구동성 합창하듯 말하는 바이니.. 

그게 허황되었다..라고 무시할 수 있는 상황은 아닌 것이 분명해 보인다는 점.. 

그러나 여러가지 복합적인 사정이 덧대어져.. 오늘날 Ai의 개발 관련 합치된 의사 결정은 이루어지기 요원해 보인다는 점

정도 될 것 같다... 

아마도 인류는 이렇게 당분간이 될지.. 앞으로 쭈욱~ 이 될지 모르겠지만 어쨌거나 브레이크 없는 달리는 기차에 올라 탄

상황...이라는 것은 부인할 수 없는 사실인 것 같다..   

아따 모르겠다..  나야 뭐...  이 지구 상에 살고 있는 한톨 먼지 보다 작은  존재이니까...   ㅡ,.ㅡ