Как учится машина. Революция в области нейронных сетей и глубокого обучения - Ян Лекун

Во-вторых, Вапник поставил на то, что после 14 марта 2000 г. никто уже не будет использовать нейронные сети. Ларри ставил на противоположное. Они подписали свои прогнозы, и я тоже подписал их, так как выступал свидетелем. Ставкой обоих пари был ужин в ресторане.

Было два ужина. Ларри проиграл первое пари, но второе проиграл Владимир. Что касается меня, то я дважды насладился бесплатным ужином!

В 2001 г. Леон Ботту и я завершили проект DjVu. Более пяти лет мы почти не работали над машинным обучением, но мы писали длинные статьи, в которых подробно рассказывали о нашей работе в первой половине года десятилетия. Для меня те статьи представляли собой своего рода бесконечную «лебединую песнь»: сообщество больше не интересовалось нейронными сетями, но мы рассказывали им, как заставить эти сети работать. Мы провели новое тестирование, которое должно было стать познавательным и исчерпывающим. В 1998 г. мы опубликовали статью ЛеКуна, Ботто, Бенгио и Хаффнера[30] в престижном журнале Proceedings of the IEEE под названием «Градиентное обучение для распознавания документов», ставшую впоследствии знаменитой.

В той статье было подробное объяснение того, как заставить работать сверточные сети. Мы развили идею построения обучающей системы путем сборки дифференцируемых параметризованных модулей. Также мы описали новый метод – «преобразование графов сетей», позволяющий обучать системы, модули которых управляют графами, в то время как классические нейронные сети управляют только массивами чисел. Мы также продемонстрировали, как можно построить и обучить систему распознавать символы. В период с 1998 по 2008 г. статья имела переменный успех, набирая лишь несколько десятков цитирований в год. Но с 2013 г. ситуация резко изменилась. В 2018 г. статья собрала 5400 ссылок. Многие видят в ней сейчас основополагающую статью по теории сверточных сетей, хотя первые статьи были опубликованы десятью годами ранее. В 2019 г. моя статья собрала 20000 цитирований.

Рис. 2.4. Пари 1995 г. между Ларри Джекелем и Владимиром Вапником

1. Джекель делает ставку (ставка – хороший обед), что не позднее 14 марта 2000 г. исследователи поймут, почему большая сеть нейронов, обученных на большой базе данных, работает хорошо (под «пониманием», мы подразумеваем то, что будут четкие условия и ограничения). Но, если решение найдет Вапник, он все равно выиграет. Вапник ставит на то, что Джекель ошибается.

2. Вапник делает ставку (хороший обед в ресторане), что не позднее 14 марта 2005 г. ни один здравомыслящий человек не будет использовать нейронные сети, которые, по сути, останутся такими же, как в 1995 г. Джекель делает ставку, что Вапник не прав. Вапник выиграл первое пари, а Джекель выиграл второе.

В конце 2001 г. Интернет-пузырь попросту лопнул. План AT&T по обеспечению Интернета и телевидения во всех домах через оптоволокно и коаксиальные кабели не убедил Уолл-стрит. Акции падали. Это нас не устраивало, ведь акции, которые мы получили после продажи DjVu, теперь ничего не стоили! Вице-президент AT&T Labs Research Ларри Рабинер, новатор в области распознавания речи, объявил, что выходит на пенсию через три месяца. Зная его преданность исследованиям и лаборатории, в которой он провел всю свою жизнь, я расценил эту новость как предзнаменование конца света и начал осторожно искать исследовательскую должность в другой компании.

Рис. 2.5. Фотография любезно предоставлена отделом исследований обработки изображений AT&T Labs Research

Я руководил этой лабораторией с 1996 по начало 2002 г. Слева направо стоят: Владимир Вапник, Леон Ботту, Ян Лекун, Йорн Остерманн, Ханс-Петер Граф. Впереди сидят: Эрик Косатто, Патриция Грин, Фу-Цзе Хуанг и Патрик Хаффнер. Вапник, Ботто, Граф, Косатто и Хуанг присоединятся ко мне в NEC в начале 2002 г.

В декабре наступил тот самый конец света. Компания объявила, что снова разделится на несколько частей и увольняет половину научных сотрудников. У меня в кармане уже лежало предложение от японской компании NEC, так что я решил тоже примкнуть к толпе уволенных и сказал своему директору: «Меня не волнует, чем интересуется компания. Я буду заниматься зрением, робототехникой и нейробиологией». Это было правдой, но больше всего я хотел, чтобы меня уволили! Директор так и поступил, и я ему за это благодарен. Леон, Владимир Вапник и я покинули AT&T в начале 2002 г., чтобы попасть в Исследовательский институт NEC в Принстоне, престижную лабораторию японской Nippon Electric Company. Там мы возобновили наши исследования в области нейронных сетей.

Перед тем, как покинуть AT&T, я сделал несколько фотографий сотрудников моей лаборатории.

На момент, когда было сделано это фото, Владимир Вапник находился на пике своей популярности, так что мне хотелось сделать запоминающуюся фотографию с юмором. Я написал на доске формулу теории обучения, которая носит его имя и благодаря которой он прославился. Я попросил его встать рядом с доской. Он был очень рад, что я фотографирую его на фоне его шедевра. Но под формулой я написал фразу – «Все ваши байесы принадлежат нам». Это был очень своеобразный каламбур, который я должен объяснить. В то время в Интернете стал популярным мем[31], в котором высмеивалась японская видеоигра Zero Wing. Перевод игровых диалогов с японского на английский был весьма несовершенным. Один из персонажей, этакий галактический император-завоеватель, там говорит на плохом английском языке: «Как дела, господа! Все ваши база принадлежащие нам. Вы на пути к уничтожению» (англ. «How are you gentlemen!! All your base are belong to us. You are on the way to destruction», что является очевидной синтаксической ошибкой, ведь на самом деле он должен был сказать – «все ваши базы принадлежат нам». Эта фраза рассмешила многих и стала достаточно известной. Еще следует заметить, что подход к теории обучения, соперничавший с подходом Вапника, был основан на теореме Байеса, формуле, связывающей вероятности совместных и условных событий, которая названа по имени ее изобретателя, британского математика и пастора XVIII века Томаса Байеса. Вапник не любил байесовские теории. Он называл их «вронгами» («vrong», искаженное английское слово wrong – неверный, ложный, где w не произносится), со своим неподражаемым русским акцентом. В итоге я изменил знаменитый мем, заменив слова BASE на BAYES, сделав Вапника императором-завоевателем галактики машинного обучения! Я разместил эту фотографию на своем сайте в 2002 г. Вскоре она стала «официальной» фотографией Вапника, на которую ссылается его страница в Википедии. Это забавно, поскольку я не уверен, что Владимир осознал всю тонкость шутки и ее синтаксическую неточность в этом отношении[32].

Рис. 2.6. Владимир Вапник в 2002 г.

Владимира сфотографировали рядом с формулой теории обучения, которая сделала его знаменитым. Эта фраза – каламбур, основанный на