Все в нейросетях начиналось с пороговой логики

Все в нейросетях начиналось с пороговой логики

В 1943 г. У. Мак-Каллок и У. Питтс опубликовали статью «A logical calculus of the ideas immanent in nervous activity», которая под названием «Логическое исчисление идей, относящихся к нервной активности» на русском языке была опубликована в сборнике «Автоматы» в 1956 г. В этой статье была предпринята попытка описать работу нейронных механизмов мозга, используя аппарат математической логики. Это была теоретическая попытка представить мозг как совокупность связанных в сеть логических элементов. К этому подталкивало то, что нейрон похож, а при определенных ограничивающих предположениях и становится логическим пороговым элементом, имеющим фиксированное число двоичных входов и двоичный выход. В 1957 г. Ф. Розенблатт с использованием пороговых элементов разработал нейронную сеть, названную им перцептроном, и построил первый нейрокомпьютер Mark I.

В 1962 г. на английском, а в 1965 г. на русском Ф. Розенблатт опубликовал книгу «Принципы нейродинамики. Перцептроны и теория механизмов мозга. –М.: Мир». В 1969 г. Марвин Минский, бывший сокурсник Розенблатта, и Сеймур Пайперт на английском опубликовали книгу «Перцептроны». В 1971 г. она была переведена на русский: Минский М., Пайперт С. Перцептроны. М.: Мир. В этой книге авторы привели доказательство того, что перцептрон не способен к обучению в большинстве интересных для применения случаев. После этого работы по нейронным сетям были свёрнуты во многих научных центрах и финансирование существенно урезано. Так как Розенблатт погиб в результате трагической случайности при кораблекрушении в Чесапикском заливе во время плавания на яхте в день своего рождения, то он не смог аргументировано ответить на критику и исследования нейронных сетей приостановились практически на десятилетие.

Но направление исследований названное «Пороговая логика» в эти годы продолжало развиваться. В СССР исследованиями в этой области занимался В.И. Варшавский и его последователи. В 1962 г. была опубликована его статья «Некоторые вопросы теории логических сетей, построенных из пороговых элементов / Вопросы теории математических машин. –М.: Физматгиз, а в 1964 г. работа его учеников: Боголюбов И.Н., Овсиевич Б.Л, Розенблюм Л.Я. Пороговая и мажоритарная логика. Информационный листок.1964. № 2 (29). 65 с. В тот же год оценки сложности схем из пороговых элементов получил Э.И. Нечипорук (О синтезе схем из пороговых элементов. // Доклады АН СССР. 1964, Т. 154, № 4, с. 763-766). Статья Нечипорука была представлена в журнал (в него без представления действительным членом академии статьи не принимают) выдающимся математиком – академиком АН СССР П.С. Новиковым.

В 1967 г. на русском языке вышла книга Дертоузоса М. Пороговая логика. –М.: Мир, которую перевели Л.Я. Розенблюм и Б.Л. Овсиевич. Кстати, Дертоузос c 1974 г. по 2001 г. был директором MIT Laboratory for Computer Science, а ещё на «троих» написал книгу с таким названием: MADE IN AMERICA: Regaining the Productive Edge. MIT Press, 1989.

В 1970 г. в СССР вышла книга Бутакова Е.А. Методы синтеза релейных устройств на пороговых элементах. –М.: Энергия.

В 1976 г. даже я занимался этой тематикой: Артюхов В.Л., Розенблюм Л.Я., Шалыто А.А. Логические возможности некоторых типов каскадных структур / Сети связи и дискретные системы управления. –М.: Наука, c. 138-144. При этом мною было показано, что число пороговых элементов, требующихся для реализации произвольной формулы в базисе И,ИЛИ,НЕ из h букв не превосходит [h/2], где скобки соответствую округлению в меньшую сторону. Этот у другие мои результаты в этой области изложены в книге: Шалыто А.А. Логическое управление. Методы аппаратной и программной реализации алгоритмов. СПб.: 2000. 780 c. Потом исследования по пороговой логике все-таки сошли на нет.

Зато стали появляться работы по использованию нейронных сетей в их современной трактовке. В частности, в 2006 г. я был руководителем магистерской диссертации Максима Гуисова на тему «Применение нейронных сетей для оценки позиции в игре Го». Однако ни у меня, ни у Максима не хватило смелости продолжить исследования в этом направлении. Кроме смелости и ума, нам в то время ещё не хватало и вычислительных мощностей, но мы тогда этого не понимали. Хватило бы всего этого и в фильме о нас могли бы повторно использовать название фильма 1956 г. – «Они были первыми».

Но история не имеет сослагательного наклонения. И кино про работы по этой тематике сняли, но оно было не о нас. В 2017 г. американский режиссёр Грег Кос снял фильм «АльфаГО» о создателях нейросетей, побеждающий людей в игре ГО. Я видел его в ноябре 2018 г. на фестивале актуального научного кино в Университете ИТМО.

То, что я «промахнулся» в этой области неудивительно: то, как разовьются события в интеллектуальных играх не могли предположить даже супер учёные. Созданием шахматных программ занимались титаны. В 1950 г. Клод Шеннон опубликовал статью «Программирование компьютера для игры в шахматы». Он писал: «Хотя, возможно, это и не имеет никакого практического значения, сам вопрос представляется теоретически интересным, и будем надеяться, что решение этой задачи послужит толчком для решения других задач аналогичной природы и большего значения». В 1951 г. Алан Тьюринг написал алгоритм, с помощью которого машина могла бы играть в шахматы, только в роли машины выступал сам изобретатель.

После этого долгие годы созданием шахматной программы занимался экс-чемпион мира по шахматам, доктор технических наук Михаил Ботвинник, который пытался формализовать свои знания о шахматах. Он начал в 1964 г., через два года – в 1966 г. Ботвинник опубликовал статью по этой тематике, а в 1968 г. – книгу «Алгоритм игры в шахматы». В 1971 г. её перевели на английский. В 1972 г. началась собственно разработка программы. Эта программа была названа «Пионер», и её альфа-версия появилась в 1976 г. Потом разработка этой программы застопорилась.

Чуть раньше – в 1963 г. учёные из Института теоретической и экспериментальной физики (ИТЭФ) под руководством Александра Семёновича Кронрода начали разрабатывать первую советскую шахматную программу. До этого Кронрод получил первые научные результаты совместно с выдающимся математиком Н.Н. Лузиным, на основе которых ему сразу присвоили докторскую степень, что, в частности, предложили оппоненты – М.С. Келдыш и А.Н. Колмогоров! Потом он (на двоих – с выпускником ЛИТМО Николаем Ивановичем Бессоновым создал релейную вычислительную машину!

Программа ИТЭФ была создана в 1966 г. Первый международный матч шахматных программ состоялся в следующем году, в котором участвовала эта программа и программа Стэнфордского университета, созданная под руководством Дж. Мак-Карти. Матч закончился со счётом 3:1 в пользу советской программы.

Все в этом направлении шло хорошо, но 1968 г. в психиатрическую больницу по политическим мотивам насильно заключили сына С. Есенина – А.С. Есенина-Вольпина. Кронрод был одним из инициаторов письма против этого, которое в историю вошло под названием «Письмо 99 математиков». Советская власть в это время «была ужасной, но доброй внутри», поэтому его даже не отправили к Есенину, а просто уволили, и это несмотря на то, что Кронрод был участником войны, дважды ранен, имел ордена, а также Сталинскую премию! Он участвовал также и в атомном проекте...

Шахматная команда уволилась из ИТЭФ, и их на работу Институт проблем управления (ИПУ) принял академик АН СССР Вадим Александрович Трапезников. Считалось, что Трап всесилен, но это оказалось не так: лидера команды в ИПУ не взяли. Вот статья этой команды: Адельсон-Вельский Г.М., Арлазаров В.Л., Битман А.Р., Животовский А.А., Усков А.В. О программировании игры вычислительной машины в шахматы/ Успехи математических наук. Т. 25, 1970. № 2, с. 221-260.

В 1971 г. эта программа была названа «Каисса», а 1974 г. она стала первым чемпионом мира среди компьютерных программ. Обо всей этой истории с Кронродом и Адельсоном-Вельским я написал текст «Чтобы знали и помнили», который со временем дополняется по адресу: https://vk.com/@1077823-chtoby-znali-i-pomnili.

После этого большого прогресса в этой области долго не было. Так в 1996 г. Г. Каспаров выиграл у системы DEEP BLUE от IBM, но на следующий год в матче-реванше из шести партий машина победила, и вроде был снят вопрос о создании шахматного искусственного интеллекта. Однако после этого система больше в соревнованиях не участвовала, и подобно Б. Фишеру, «ушла» непобеждённой, оставив мир гадать, куда ему в этой области идти.

А мир не знал этого. Так, в частности, в  2002 г. на странице памяти Георгия Максимовича Адельсона-Вельского – выдающегося  учёного вообще, а в этой области, в частности, было опубликовано его интервью об искусственном интелекте, из которого сегодня становится ясно, что он не знал что «делать» с шахматами, а тем более с игрой Го.

В 2017 г. на русском языке появился текст «Великое пробуждение искусственного интеллекта», в которой описывается революция, произошедшая в мире (в том числе в шахматах и игре ГО), после того как в 2007 г. Джоффри Хинтон понял, что многослойная нейросеть может решать сложные задачи (Hinton G.E. Learning Multiple Layers of Representation/Trends in Cognitive Sciences 11, 428-434 (2007).

На основе этого текста я в 2018 г. написал текст «Фрагменты статьи «Великое пробуждение искусственного интеллекта и кое что ещё», который после корректировки в 2020 г. был опубликован в «Виртуальном компьютерном музее»

Революция продолжается, но при этом всегда следует помнить, что все в этой области начиналось с пороговой логики...

24.09.2021

Об авторе: д. т. н., профессор
Помещена в музей с разрешения автора 6 ноября 2021