Tajemnica chinskiego pokoju, 1995. (C) Перевод.
Язневич В.И., 2003
(Источник: Лем С. "Молох", М:. АСТ: Транзиткнига, 2005, с.246-255)
Джон Сёрл своей книгой "Minds, Brains and Programs", сразу же включенное в "The Behavioral and Brain Science" том III, Cambridge University Press, изданной в 1980 году (то есть 15 лет назад), вызвал настоящий переполох, или, если кто-то предпочитает более мягкое определение, полную разногласий бурю в среде американских исследователей Artificial Intelligence. Я, намереваясь положить на операционный стол clous1 его статьи, название которой соответствует титулу этого эссе, не буду здесь приводить порядка 28 реплик и диатриб, которыми общество AI в США пыталось “уничтожив” выводы, каковые, по мнению Сёрла, вытекают из его книги. Я также не хотел бы произвести такое впечатление, что являюсь якобы умнее всех исследователей этого круга проблем, работающих во всех (без малого) университетских центрах, но amicus Plato, sed magis amica veritas2. Если кто-то увидит возможность опровержения моего секционного вывода в пользу Сёрла, то я буду одновременно очень удивлен и доволен, потому что это совсем невыгодная вешь - возвышаться над собранием мудрецов.
Перехожу ad rет3. Сёрл хотел сказать, что вoзможно точное подражание ПОНИМАНИЮ текста, который на самом деле человек, занимающийся его составлением, вообще не понимает.
1 основные мысли (англ.).
2 Платон мне друг, но истина дороже (лат.).
3 к делу (лат.).
Он сделал это в вымышленном эксперименте, описание которого я читал два раза для большей уверенности в понимании дела МНОЙ САМИМ: первый раз — в оригинальном труде Д. Р. Хофштадтера и Д. Деннетта “The Mind's I”1, a второй - в хорошем немецком переводе “Einsicht ins ich”. — Klett-Cotta Verlag, 1981.
Дело выглядит таким образом. Сёрл, зная английский, но никак не китайский, заперт в комнате и получает поочередно ТРИ пакета карточек, исписанных знаками китайского письма. Эти знаки в его глазах ничем не отличаются от нагромождения бессмысленных каракулей. В первом пакете он получает написанные по-английски инструкции, каким образом он должен другие знаки из второго пакета привести в соответствие со знаками первого. Наконец, он получает третий пакет страниц, также с китайскими символами и с инструкцией по-английски, которая дает ему возможность сделать определенное упорядочивание знаков третьего пакета в соответствии со знаками двух первых. Сёрлу необязательно знать, что тот, кто ему всё это дал, называет первый пакет “письмом” (“Script”, “Schrift”), второй — “рассказом”, а третий — “вопросами”, касающимися этого рассказа. Поступая чисто формально, то есть раскладывая одни знаки в соответствии со вторыми и третьими, Сёрл получает уже саму запись, которую ТАКЖЕ абсолютно не понимает. При этом по мнению лиц, знающих китайский язык и письмо, в комнату попал рассказ, а из комнаты вышли разумные и складные ответы на вопросы, касающиеся содержания этого же рассказа, ХОТЯ манипулирующий знаками-карточками человек НИЧЕГО в китайском письме не понимает и не знает.
1 имеется перевод на русский язык: Хофштадтер Д., Деннетт Д. Глаз разума. - Самара: Издательский дом “Бахрах-М”, 2003, 432 с. (Фантазии и размышления о сознании и о душе.) Книга представляет собой антологию из 27 статей и рассказов разных авторов (в том числе 3 рассказа Станислава Лема) с комментариями-размышлениями составителей. Антология содержит упоминаемые в настоящем сборнике работы: Сёрл Дж. Разум, мозг и программы; Тьюринг А. Вычислительные машины и разум (статья известна также под названием "Может ли машина мыслить?"); Докинс Р. Эгоистические гены и эгоистические мемы; Лем С. Non serviam (рассказ известен также под названием “Не буду прислуживать").
Из этого можно сделать вывод, что манипулятор в комнате действует подобно компьютерному hardware, а инструкции на английском языке представляют ПРОГРАММУ (software), и уже из этого видно, что можно толково отвечать на китайские вопросы, относящиеся к китайскому рассказу, вообще не понимая китайского, и это должна быть модель работы компьютера.
Хофштадтер, который в своей книге вслед за Сёрлом кратко излагает “эксперимент” с китайской комнатой снабдил его как собственными комментариями, так и пересказом самых существенных контраргументов (против сравнения формулы “комната плюс человек плюс инструкция” с компьютерной hardware, а английской инструкции — с программой, то есть software), которые прислали самые передовые коллективы исследователей, изучающих AI, в том числе из университетов: Беркли (“системный” ответ: человек сам ничего не понимает, но он плюс инструкция плюс комната “понимает китайский”), Йельского (в ответе событие изображайся в стиле “робота”), Массачусетского технологического института с помощью Беркли (реплика, основанная на симуляции мозга), Стэнфордского (комбинированная реплика), Йельского (попытка редукции ad absurdum: откуда известно, что есть какие-то ДРУГИЕ, которые понимают китайский? — из их поступков, потому что в мозг им никто заглянуть не может, следовательно, поведенчески “комната” эквивалента “китайцу”), опять Беркли и т.д. Дальнейшее перечисление реплик было бы утомительным. Хофштадтер пробует опровергнуть “довод” Сёрла, вытекающий из его “мысленного эксперимента”, подчеркивая, что, как умелый фокусник, Сёрл скрывает реальные трудности, так как само составление сотен и сотен китайских символов продолжалось бы, возможно, месяцы (по-моему, это не контраргумент, а только увертка), да и не нужно забывать “синологическую” сторону. Это более разумно, потому что ТОЛЬКО тот, кто НИЧЕГО о китайском не знает, помимо своей воли предполагает, что он является языком, построенным из отдельных “знаков-кубиков”, которые не имеют ни склонения, ни спряжения, ни идиоматики. Так как я с “ктиайской комнатой” ни в какой спор, ни в какую дискуссию вступать не намерен, позволю себе перевести весь этот мысленный эксперимент в другой, более простой, который неплохо раскроет “тайну”.
Возьмем так называемую “puzzle”, которая при составлении в единое целое представляет какую-то картину или фотографию.
Эго может быть копия “Рыцаря” Рембрандта или фотография Эйфелевой башни — не важно, ЧТО там изображено, была бы только ДАНА натуралистическая реальность картины. Затем эта картина разрезается на маленькие, закрученные финтифлюшки-кусочки, из которых обычно такая головоломка (pazzl) складывается, обращая внимание исключительно на то, чтобы каждый кусочек отличался от другого формой настолько чтобы их невозможно было сложить в удачное целое при ошибочной замене элементов местами. В конце мы складываем картину в коробку и трясем ею так, чтобы хорошо эти кусочки перемешать. Затем приходит наш экспериментатор, видит только “изнаночные стороны” этих картонных кусочков и должен из них сложить такое целое, чтобы каждый кусочек находился там, где надо. Это будет несколько трудоемко, но возможно, если нельзя будет поменять местами эти кусочки благодаря их индивидуальной форме. Если сейчас мы перевернем полученное изображение картинкой кверху, то, конечна увидим картину Рембрандта, “Леду с лебедем” или Эйфелеву башню, несмотря на то что тот, кто складывал кусочки, не имел ни малейшего понятия о том, что он складывает не бессмысленные формы в единое целое, а воссоздает определенный очень выразительный, однозначный ОБРАЗ. Все это достаточно очевидно и не требует никаких дополнительных пояснений. Вместо картины там с таким же успехом может находиться надпись на польском, албанском, китайском или на каком-то другом из существующих на нашей планете 5000 языков: там может появиться надпись “Kto rano wstaje, temu Pan Bog daje”1 или “Chlop zywemu nie przepusci”2, или “Ich weiss nicht, was soll es bedeuten, dass ich so traurig bin”3 (Гейне, “Lorelei”) и т.д.
1 Кто рано встает, тому Бог дает (пол.).
2 Мужик живому спуску не даст (пол.).
3 Не знаю, что значит такое, Что скорбью я смущен. (нем.).
Пер. А. Блока.
Все равно, что появится при переворачивании оборотной стороны сложенных как следует кусочков на сторону правильную, то есть "правую”, но ведь вероятно, что тот, кто складывал, как и “компьютерная программа”, НИЧЕГО не знал, то есть не имел понятия или даже абсолютно не понимал, ЧТО появится на обороте, и даже не имел представления о том, ЧТО там появится какая-то когерентная значимая целость. Является ли это аргументом против мнения, что компьютер все же мог бы подобно человеку понимать, что он делает, выполняя очередные шаги, заданные инструкцией? По-моему, это имеет с “ниспровержением” тезиса о AI столько же общего, сколько и тезис что из кремовых пирожных можно сложить надпись, отрицающую возможность извержения Этны. Одно ни на йоту не имеет ничего общего с другим.
К атаке на эксперимент Сёрла с китайской комнатой можно было бы подойти иначе, то есть вместо того чтобы переносить дело на эту puzzle, потребовать, например, оставить китайский язык и письмо для того, чтобы заняться греческим, или древнееврейским, или латынью и т.д. без конца. И чем больше этот язык окажется похож на наш хоть на крупицу (скажем, румынский, потому что у него латинский алфавит, или кириллица, потому что она происходит от греческого), тем очевиднее будет, что ВОПРОСЫ, относящиеся к РАССКАЗУ, довольно сильно эти ответы детерминируют, и если бы кто-то (Сёрл) по-прежнему настаивал на китайском, то с ним я тоже справился бы. С помощью синолога, хорошо знающего китайский, к пакету “вопросов” я добавлю специфические. Например, рассказ касается известной сказки из 1001 ночи о Сезаме и сокровищах Сезама. Вопрос звучит: как так может быть, что на звук сказанных слов “Сезам, откройся!” скала открывается? Ответы могут быть по-разному верные. А) Скала открывается, потому что рассказ является СКАЗКОЙ, где могут происходить события, которые в реальности случиться не могут. В) Скала открывается, потому что есть макет, построенный в Голливуде для съемок фрагмента сериала под названием “Рассказы из тысячи и одной ночи”. С) Или: скала является искусственным творением, которое приводится в движение скрытым электрическим мотором, а голос же активизирует специальные акустические датчики. И так далее до конца света. По моему мнению, ПЕРВЫЙ ответ, НЕтехнический, то есть тот, который обра ется к главной для сказок парадигме (о допустимости “чар и чудес”), является наиболее толковым, но как узнать, окажется ли он среди тех возможных “китайских реплик”, которые будут сложены в “комнате”?
Может случиться и то, что среди вопросов найдутся такие, которые “выявят принципиальное НЕПОНИМАНИЕ” китайской комнатой” всех текстов, и это мне видится возможным, потому что Джону Сёрлу и его респондентам казалось странным (на мой взгляд), что так называемая “strong AI”, или гипотеза о возможности прохождения машиной теста Тьюринга, решается в рамках “тайны китайской комнаты” отрицательно: машина, которую изображает комната ничего не понимает и, несмотря на это, отвечает на вопросы так, как будто бы она их понимала.
Ключ к ЭТОМУ находится в “пакете вопросов”. Например, пусть сюжетом для рассказа по-китайски является сказка о лампе Аладдина. Вопросы звучат следующим образом: “Была ли лампа электрической, на батарейках?”, “Была ли лампа керосиновой и наполненной керосином, то есть способной благодаря фитилю и спичкам зажигаться и давать свет?” Если есть такие вопросы, которые A PRIORI мы исключаем как направляющие на ложный путь, то ни о какой аналогии с тестом Тьюринга даже и речи быть не может. Сейчас как краткий, подлинный и очевидный пример я приведу “argumentum ad hominem”1, причем этот человек — я. Я уже достаточно глуховат, без аппарата, воткнутого в оба уха, уже почти ничего не понимаю (так как не слышу) из того, что мне говорят. Если в булочной, где я покупаю хлеб, чужой человек, узнавший меня, потому что видел по телевизору, обратился ко мне, я не могу, учитывая всю ситуацию, тянуться к пуговицам плаща, потом в карман за мешочком со слуховыми протезами, но пытаюсь из того, что он мне говорит, выхватить хотя бы одно-два слова.
1 аргумент от человека (лат.).
Это обычно удается, а если нет, то этот человек повторит что-то громче и направит меня на размытый, но, возможно, и основной смысл своего высказывания. Недоразумения в разговорах с глухими, естественно, часто случаются, но и тогда никто, даже если это 100-процентное недоразумение, не считает, разговаривает с манекеном или с роботом, имеющм такой компьютер в черепе, который “действует только чисто формально”. Чисто формально действовал тот, кто складывал таблицу в картину (puzzle), тот, кто складывает непонятные китайские символы, но если он ошибется, то китаец скорее признает, что это только ошибка, а не 100-процентное отсутствие всякого понимания. Впрочем все обстоит так, что смысл для понимания помогает определять окружающая обстановка, и я не думаю, чтобы чело век, спрашивающий меня в булочной, интересовался числом звезд в туманности Андромеды или лучшим рецептом пряника с миндалем. А так как вопросы “направленно сжаты” текстом рассказа, то тем самым они предопределены, то есть они вероятностно продетерминированы в рамках такого “fuzzy set”, такого размытого собрания, которое имеет направляющую стрелу, уже a priori ориентирующую его на “такое-сякое понимание”. А мук и сложностей, высыпанных перед Сёрлом всеми мудрецами из университетов, я вообще не в состоянии понять. Так пусть Сёрл, вместо того чтобы описывать мысленные эксперименты, уничтожающие ложный миф об умных компьютерах, позволит закрыть себя в комнате, пусть ему всунут этот шрифт и этот рассказ, всего лишь скромно ограниченный стихами “Wlazl kotek па plotek i mruga, krotka to piosenka nie dluga”1, и пусть спросят (по-китайски, на карточках) о виде плетня, о породе кота и о том, имеет ли какое-то особое значение, когда кот моргает, или скорее всего он моргает просто так, а по-польски только для рифмы. И пусть Сёрл ответит более или менее дельно.
1 Влез котик на плетень и моргает, эта песенка короткая, не длинная (пол.).
Тексты такого рода, не хвастаясь, я могу производить возами, и из этого абсолютно ничего не следует. Как известно, в своей поздней книге о будущем Уэллс описал воздушные войны, в которых управляемые воздушные шары должны были бы распарывать дирижабли врага шпорами, с позволения сказать, как военные фрегаты делали это когда-то с вражескими кораблями. Доходит ли сейчас дело до столкновений враждующих воздушных сил во время войны? Конечно. Строили ли ПОСЛЕ Уэллса большие, легче воздуха, летающие машины? Естественно, это были (в основном немецкие) цеппелины. Разрезали ли враги шпорами их оболочки? Никогда, а на вопрос “почему нет”, уже так лаконично ответить невозможно. Люди, занимающиеся AI, пока только узнали, что для игры в вопросы и ответы нужно создавать тщательные ситуационные РАМКИ (“frames”), но также известно из опыта сегодняшнего дня, что можно спросить кухарку о том, как она делает поджарку, но скорее всего не следует ожидать ее осмысленного ответа на вопрос, почему в поршневом двигателе сжигания новейших автомобилей нет двух клапанов (всасывающего и выхлопного), а только четыре или хотя бы три. Она ничего не скажет, потому что понятия не имеет, и это с “пониманием” или с “непониманием” грамматики, идиоматики синтаксиса языка не имеет ничего общего. Чтобы понимать высказывание, следует ухватить его смысл и его смысловой радиус, и last but not least его специфическую предметную ориентацию.
Китайская комната Сёрла, как и моя puzzle, ничего не предопределяет, ничего не обещает, ничего не предетерминирует, ничего не “решает” раз и навсегда. Еще добавлю (это также слегка относится к делу), что на особом месте в моей библиотеке находится книга 1924 года издания, написанная немецким ДОКТОРОМ (но не медицины), который математически, химически и физически доказал в ней полную невозможность космических полетов и даже получения ракетой ускорения, способного преодолеть гравитацию, чтобы она смогла выйти на околоземную орбиту. Это очень хорошее доказательство, “проведенное исключительно формальными средствами”. О нем стоит помнить оппонентам искусственного интеллекта. Основным упреком против моего сведения “тайны китайской комнаты” к головоломке типа PUZZLE является чрезмерное упрощение дела. Ну, сейчас я его усложню. Не картина находится на аверсе PUZZLE'а, а те строки, произнесенные Отелло, где говорится о том, как он задушил Дездемону. Складывающий кусочки ничего об этом не знает. Он получает два пакета других кусочков в качестве “вопросов” и в качестве “ответов на вопросы”. Всё это он видит только произвольно рассыпанными фрагментами картона и должен сложить из них целое благодаря тому, что их зубчики, зарубки и вырезы взаимооднозначн но подходят друг другу. После переворачивания составленного видно, что вопросы были такими: “Почему Отелло душит Дездемону?” и “У него были на это какие-то основания?”, а ответы соответственно: “Душит по причине ревности” и “Он был введен в заблуждение Яго”. Целостность текста, вопросов и ответов должна быть составлена из АНГЛИЙСКИХ фраз, а складывающий их китаец, который ни слова по-английски не знает, благодаря чисто формальном процессу (составлению головоломки) получает сборны текст, сборные вопросы и адекватные ответы на них. Ранее Сёрл несколько вскружил голову тем, кому он описывал свой эксперимент, что это “китайщина” и т.п. Сейчас видно, что в принципе возможно при чисто формальном подходе (тоже складываются куски по их ФОРМЕ, а не по их смыслу) проведение эксперимента. Однако вместе с тем видно, на этот раз уже очень явно, что китаец в “английской комнате” действительно НИЧЕГО не понимает. Итак КТО же понимает тексты в ОБОИХ случаях, в случае Сёрла и в моем? Конечно, тот, кто весь эксперимент — как первый, так и второй — выдумал, составил и запрограммировал. “Понимание” не находится ни в какой из комнат, ни в той “китайской” с англичанином, ни в “английской” с китайцем, программы же в обоих случаях отличаются друг от друга тем, что в одном случае знаки одного китайского письма ФОРМАЛЬНО приспосабливаются к знакам другого китайского письма, а в моем случае ФОРМАЛЬНО приспосабливаются формы вырезок картона. Разница несущественна, потому что существенным является исключительно поведение складывающего, который и здесь и там ничего не понимает из текста, и не важно, видит ли он текст и не понимает его, не зная китайского, или же не видит текст (китаец), потому что если бы он его видел, ТО ТОЖЕ БЫ НЕ понял, если уж он должен соединять формы, а не символы. Короче говоря, эксперимент вводит нас в заблуждение, при этом Хофштадтер в своей книге ТОЖЕ так считает, но зря усложнил объяснения. Не в том загвоздка, что китайское письмо несравненно труднее было бы приспосабливать к китайскому (НАПИСАННЫЕ буквы для невежды могут восприниматься графически как очень разные, например, латинская буква "f" формально тождественна “F”), но загвоздка в том, что работа всегда асемантично формальна. Следовательно, "понимание” в самих текстах не участвует вообще и a forteriori1 нет и речи о присутствующем “сознании”. Возможен ли искусственный интеллект, покажет будущее. С обсуждаемым “reductio ad absurdum2” это будущее НЕ ИМЕЕТ НИЧЕГО ОБЩЕГО.
1 тем более (лат.).
2 доведение до нелепости (лат.).