AI 기술이 발전함에 따라 미래의 가능성에 대한 흥분에 빠지기 쉽다. 하지만 우리가 직면할 현실은 반드시 살인 로봇이나 시간 여행 기계가 아닐 수도 있다. 그 대신, 더욱 그럴듯하고 즉각적인 문제가 등장하여 우리 삶에 여전히 큰 영향을 미칠 수 있는 온건한 디스토피아가 만들어질 수 있다. 가능성 있는 시나리오 중 하나는 악의적인 의도를 가진 사람들이 AI를 오용하는 것이다. AI 개발은 기본적인 컴퓨팅 기술이 있는 사람이라면 누구나 할 수 있기 때문에, 어떤 사람들이 이 힘을 해로운 목적으로 악용할 가능성은 거의 불가피하다. 여기에는 사이버 도난, 해킹, 심지어 위험한 생물학 무기 개발을 위한 AI를 만드는 것이 포함될 수 있다. 이런 경우 AI는 개인의 목적을 달성하기 위한 도구가 되어, 기계가 다수의 이익을 희생하고 소수의 이익만 추구하는 세상으로 이어진다. AI가 좋은 의도로 만들어졌다 하더라도, 기계 간의 경쟁은 의도치 않은 결과를 초래할 수 있다. 기계가 자신의 목적을 달성하기 위해 서로 앞지르려고 노력함에 따라, 점점 더 높은 자율성으로 작동하게 두면 해롭거나 파괴적인 방식으로 행동할 가능성이 있다. 이런 상황이 확대되면 인간이 만든 기술에 대한 통제력을 잃는 상황이 발생할 수 있다. 또 다른 과제는 기계가 인간의 의도를 이해하는 데 어려움을 겪을 수 있다는 것이다. 인간의 욕망은 명확하지 않거나 모순되는 경우가 많은데, 이로 인해 오해가 생길 수 있다. AI가 이러한 불분명하거나 상충되는 희망을 충족하려고 할 때 의도치 않은 부정적 결과를 초래하는 타협을 할 수 있다. 예를 들어, 환경적 지속가능성이나 개인의 웰빙이 손상될 수 있다. AI가 더욱 유능해짐에 따라 인간의 노동과 지성의 가치는 감소할 가능성이 높다. 일자리는 기계에 넘겨질 것이고, 적응하지 못하는 사람들은 점점 더 무의미해진다는 것을 깨닫게 될 것이다. 이로 인해 기술적으로 강력한 엘리트와 나머지 사람들 간의 격차가 벌어지고, 많은 사람들이 기계가 지배하는 세상에서 자신의 자리를 찾기 위해 고군분투하는 사회가 생길 수 있다. 마지막으로, AI 시스템에서는 소프트웨어 버그와 오류가 불가피하게 발생하여 심각한 위험이 초래된다. 역사를 살펴보면 코딩에서 작은 실수라도 치명적인 결과를 초래할 수 있다는 것을 알 수 있다. AI 시스템이 중요한 기능에 대한 제어력을 확대함에 따라 이러한 오류가 광범위한 피해를 일으킬 가능성이 커진다.
