В метаматематике существует мнение, что человечество не способно создать то, что по своей структуре выходит за рамки человеческих представлений на данный период его развития. Данное мнение базируется на теореме Гёделя и ее следствиях. Указанная теорема доказана Куртом Гёделем в 1931-ом году. Эта теорема (о неполноте и доказательстве), утверждает примерно следующее: при определенных условиях в любом языке существуют истинные, но недоказуемые утверждения. На самом деле таких теорем Гедель сформулировал две: первая и вторая. Первая теорема утверждала, что в любой достаточно сложной непротиворечивой теории существует утверждение, которое средствами самой теории невозможно ни доказать, ни опровергнуть. Вторая - непротиворечивость достаточно богатой теории не может быть доказана средствами этой теории. Вот, собственно, и все. Эти теоремы многие, в частности известный логик Джон Лукас (John Lucas) в 1961 году, пытались использовать для доказательства того, что интеллектуальная деятельность не сводится к вычислениям (интересная мысль, не правда ли).
И последнее, тот же самый Курт Гедель, вслед за Гильбертом считается основателем науки под названием метаматематика, которая занимается изучением различных свойств формальных систем и исчислений (непротиворечивость, полнота и др.). Термин этот введен Гильбертом в связи с его концепцией обоснования математики (формализм).
Из всего сказанного следует, что для создания Искусственного Интеллекта человечеству как минимум необходимо понять, а что же такое просто Интеллект... Вот здесь у этого самого человечества понимание предмета примерно такое же как у эскимоса, всю жизнь носившегося по тундре за оленями, о генной инженерии...
А уж что такое Искусственый Интеллект никто толком не знает вообще, в том числе и те, кто им непосредственно занимается. И это самое страшное. Поэтому о каких-либо достоверных прогнозах его "применения" никакая речь идти пока не может. Сначала нужно разобраться, что из себя представляет сам Интеллект, и уж потом прогнозировать Интеллект Искусственный. Однажды я был с визитом у одного своего коллеги-профессора, который делает вид, что занимается проблемой ИИ (фамилий называть не буду, человек довольно известный)... Я был поражен тем, что данная проблема им сводится к возне с логическими конструкциями, хотя даже неучу известно, что Интеллект и логика зачастую действуют в "противофазах"...
Тем не менее, мне лично игрушки с Искусственным Интеллектом представляется чрезвычайно опасным. Я иной раз с ужасом наблюдаю за "камланием" вокруг ИИ японцев... Ох, доиграются, и всех остальных тоже подставят... Создание ИИ, если оно вообще возможно, приведет человечество к таким непредсказуемым последствиям, что померкнут самые буйные фантазии, которые, однако, человеческое сознание в состоянии сконструировать, поскольку нет никаких гарантий, что данный Интеллект будет действовать в интресах человечества, а не в своих.