在牛津大學指導人類學研究所未來的哲學家尼克‧博斯托羅（Nick Bostrom）在他的「超級智能」（Superintelligence）中描述了以下情景，引發了關於人造智能未來的大量爭論。
由於 20 世紀 60 年代和 70 年代的 AI 研究人員開始使用電腦來識別圖像，在語言之間進行翻譯，並讓電腦理解語意化的指令，而不僅僅是代碼。電腦最終將發展出說話和思考的能力，做惡，冒泡入主流文化。
當人工智能研究遠遠低於其崇高的目標時，資金枯竭就會涓涓細流，開始時間長了 AI 冬天。即使如此，智能機器的火炬是在 20 世紀 80 年代進行的，90 年代由科幻作家，如 Vernor Vinge，他推廣了奇點的概念；研究人員喜歡機器人專家 Hans Moravec，計算機視覺專家；和工程師/企業家雷‧庫茲維爾（Ray Kurzweil），1999 年著作「精神時代之年」。
雖然圖靈已經提出了一個人性化的智慧，但 Vinge，Moravec 和 Kurzweil 正在思考更大的：當一台計算機有能力獨立設計實現目標的方法時，很有可能有內省能力，從而能夠修改其軟件並使自己更聰明。
史蒂芬‧霍金（Stephen Hawking）警告說，由於人們無法與高級 AI 進行競爭，所以它可能會導致人類的終結。閱讀 Superintelligence 後，Elon Musk 發了一條推特：「唉，我們不過是超級智能的生物容器。」
即使相對於以前可以被管理的電腦，當電腦識別出一隻貓的圖片，電腦也沒有任何意圖，沒有任何意義，電腦無法判斷圖片中發生了什麼，也不像人類擁有無數的其他見解。
在這種觀點下，AI 可能會演化成智能機器，但是需要耗費的時間比 Bostrom 想像的更多。
他指出，過去十年，人大有了很大的進步，雖然公眾可能會瞭解摩爾定律的進步（更快的電腦在做更多的事情），實際上最近的 AI 工作一直是很基礎的，技術上是像深刻的學習，為計算機奠定基礎，可以自動增加他們對周圍世界的瞭解。
世界上許多最大的公司都在投入使計算機更加智能化；一個真正的 AI 將給帶這些公司令人難以置信的優勢。
這篇文章不是警告存在的災難，而是要求更多的研究，以獲得 AI 的好處，同時避免潛在的陷阱。這封信不僅僅是由 AI 外部人士，如霍金，Musk 和 Bostrom 簽署，其中也不乏著名的計算機科學家（包括傑西斯哈撒比斯，一位頂尖的 AI 研究員）。
