За последние пять лет искусственный интеллект превратился одну из самых ярких надежд технологической отрасли. Компьютеры научились распознавать лица и объекты, понимать устную речь и переводить десятки языков. Крупнейшие мировые компании — Alphabet, Amazon, Apple, Facebook и Microsoft сделали ставку на свое будущее в основе которого лежит ИИ.
Технологические компании участвуют в гонках между собой, чтобы увидеть, кто быстрее строит умные машины для будущего.
Это подпитывает восприятие того, что ИИ и машинное обучение вышло из ниоткуда, что с самоуправляемые автомобилями Теслы с умным автопилотов, и ассистент Алекса болтающая с ребенком, будто появилась сама собой. Но эти технологии не стали популярны в одночасье, и это не было детищем одного предпринимателя из Силиконовой долины.
Идеи, лежащие в основе современных ИИ-нейронных сетей и машинного обучения, имеют корни, которые вы можете проследить до последних этапов Второй мировой войны. Тогда академики начали строить вычислительные системы, предназначенные для хранения и обработки информации способами, подобными человеческому мозгу.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
На протяжении десятилетий технология имела свои взлеты и падения, но она не смогла привлечь внимание компьютерных ученых в общей сложности до 2012 года. Только лишь благодаря горстке упрямых исследователей, которые не боялись выглядеть глупо это стало возможно. Они по-прежнему убеждены, что нейронные сети просветят мир и изменят судьбу человечества.
В то время как эти первопроходцы были разбросаны по всему земному шару, в Канаде оказалась необычайно большая концентрация «преданных нейронных сетей». Это только отчасти благодаря удаче: поддерживаемый Правительством канадский Институт перспективных исследований (Cifar) привлек небольшую группу ученых в страну, финансируя исследования нейронных сетей, когда это было немодно.
Она поддерживала ученых-компьютерщиков, таких как Джеффри Хинтон и Ян Лекун. в университете Торонто, Йошуа Бенхио в университете Монреаля и Ричард Саттон из Университета Альберты, поощряя их делиться идеями и придерживаться своих убеждений. Они придумали многие концепции, которые подпитывали революцию ИИ, и все они теперь считаются крестными отцами технологии машинного обучения и зачатков ИИ. Это своеобразная история собранная вместе, о том, почему потребовалось так много времени для работы нейронных сетей? Как эти ученые нашли друг друга? И почему Канада, из всех мест, оказалась плацдармом для подъема машинного обучения?
Джастин Трюдо, премьер-министр Канады: «ИИ - это просто компьютер, который может имитировать человеческую мысль или поведение человека. Внутри всего этого есть оборудование, благодаря которому вы получаете компьютер, чтобы совершать эксперименты снова и снова. Это может быть моделирование автомобиля движущегося по дороге, или попытка распознать кошку на фотографии».
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Внутри имеется подмножество обучаемых функций, называемое глубоким машинным обучением. Общая идея заключается в том, что вы создаете нейронную сеть, и у нее есть вес и предубеждения, которые можно настроить на дому с желаемым результатом. Вы разрешаете компьютеру выполнять интеграцию с базой данных и развивать решение проблемы с разных подходов, для выявления самого короткого и оптимального правильного результата.
Это то, над чем Джефф Хинтон и другие действительно работали в течение последних десятилетий, и теперь это является основой того, что наиболее интересно и популярно в ИИ. В данный момент этот человек лучше всех справляется с тем, как думает человеческий мозг и как программировать ИИ.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Идея нейронной сети восходит к 1940-м годам — понятие вычислительной системы, которое имитирует сеть нейронов в мозге. Но парень по имени Фрэнк Розенблатт действительно продвинул работу в 1950-х годах.
Он был профессором, а также работал с ВМС США и с другими частями правительства, и он разработал вещь под названием Перцептрон, основанный на концепции нейронной сети, которая была первый электронной машиной «Марк-1». «Марк-1» оказался первым в мире нейрокомпьютером. Когда он показал свою работу общественности, такие газеты как «Нью-Йорк таймс» и «Нью-Йорк» охватили его в довольно грандиозных выражениях.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Розенблатт утверждал, что он не только научится выполнять небольшие задачи, такие как распознавание образов, но и теоретически может научить машины ходить, говорить и демонстрировать эмоции. Но это был единственный слой нейронов и это означало что он был чрезвычайно ограничен в том, что он мог сделать. Излишне говорить, что ни одна из вещей которые он обещал, на самом деле не произошла.
Марвин Мински, коллега Розенблатта, который оказался одним из его старых одноклассников из Бронкса, написал книгу в конце 1960-х годов, в которой подробно описывались ограничения Перцептрона и нейронных сетей и это как бы поставило всю область исследований в глубокую заморозку, по крайней мере, на 10 лет.
Джефф Хинтон: «Персептрон Розенблатта мог делать интересные вещи, но он опередил себя примерно на 50 лет. В то время как Мински был верующим в нейронные сети, он смог показать, что есть определенные вещи, с которыми они не могут справиться».
В 1970-х годах небольшая группа людей продолжала работать над нейронными сетями, но в целом мы были в разгаре застоя в развитии ИИ.
Джефф Хинтон в Университете Карнеги-Меллона, а затем в Университете Торонто придерживался идеи нейронной сети. В конце концов он и его сотрудники и другие разработали многослойную нейронную сеть - глубокую нейронную сеть, и это начало работать по-разному. Французский ученый связанный с технологиями строения нейронной сети, Ян ЛеКун провел год, проводя исследования в лаборатории Хинтона в Торонто.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Ян ЛеКун: «Я был очарован искусственным интеллектом в целом, с самого раннего возраста. Я вырос в 1960-х годах, в то время было освоение космоса, появление первых компьютеров и ИИ. Когда я начал изучать инженерное дело, меня очень интересовал искусственный интеллект - область, которая только зарождалась.
Я слышал о Персептроне и был заинтригован, потому что считал обучение неотъемлемой частью интеллекта. Я старался найти все что мог о Персептроне.
Как инженер, если вы хотите понять интеллект, очевидным подходом является попытка построить умную машину — это заставляет вас сосредоточиться на компонентах необходимых для развития интеллекта. Это немного похоже на то как создали авиацию, люди были вдохновлены птицами, но они на самом деле не копировали их точно. Вы не хотите просто имитировать биологический интеллект или мозг, потому что есть много аспектов его функций, которые не имеют отношения к интеллекту на самом деле. Так же как перья не имеют решающего значения для полета: важны основные аэродинамические принципы».
Были люди, которые думали, что Лекун решает не решаемую задачу, и что это была своего рода Сизифова задача.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
В 1985 году нейронными сетями относились к маргинальным наукам и не преподавались на занятиях во многих университетах.
Ешиа Бенгио: «Меня учили классическому, символическому ИИ. Поэтому я должен был убедить своего профессора контролировать меня, делая нейронные сети. У меня была стипендия от правительства, так что я мог выбрать свою тему, и это ничего не стоило профессору. Мы заключили сделку, что я могу заниматься машинным обучением, но я бы применил ее к тому, что его волнует, а именно распознавание речи».
Лекун: Около 1986 года был период восторга вокруг нейронных сетей, отчасти из-за интереса к этим моделям со стороны физиков, которые придумали новые математические методы. Это сделало их изучение снова приемлемым, и это привело к большому всплеску интереса в конце 1980-х и начале 1990-х годов. Некоторые из нас создали нейросетевые системы для практических вещей, таких как обнаружение мошенничества для кредитных карт. Я работал над автоматизированной системой считывания чеков с распознаванием символов.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Тем временем в Карнеги-Меллоне парень по имени Дин Померло построил самоуправляемый автомобиль в конце 1980-х годов с использованием нейронной сети. Он был способен двигаться по дорогам общего пользования. Лекун использовал эту технологию в 1990-х годах для создания системы, которая могла распознавать рукописные цифры, которые в конечном итоге использовались банками в коммерческих целях.
Таким образом, в конце 80-х и далее, в 90-х, произошло возрождение нейронных сетей и их практического применения, работа Лекуна была ярким примером. Но они снова достигли потолка, главным образом из-за отсутствия вычислительной мощности и доступных данных. В эти годы индустрия снова вошла в другую застойную эпоху развития ИИ.
Юрген Шмидху́бер: «С канадскими парнями все ясно, мы не используем их алгоритмы, они используют наши. Мы используем алгоритм Лекуна. У него было много вкладов, которые были действительно важны и полезны.
Моя первая встреча с Йошуа была когда он опубликовал то же самое, через четыре года после того, как один из моих студентов публиковал ранее такую же работу. А потом, пару лет спустя, на конференции произошла разборка, на которой все это вышло наружу.
На семинаре были публичные дебаты и было сразу ясно кто что сделал первым. Это было не противно, это просто проясняло ситуацию». (Бенгио опроверг претензии Шмидхубера)
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Лекун: «Проблема в том, что методы требовали сложного программного обеспечения, большого количества данных и мощных компьютеров. Не многие люди имели доступ к этим вещам или были готовы потратить время. С середины 1990-х и середины 2000-х годов люди выбирали более простые методы - никто не интересовался нейронными сетями. Это был мрачный период для Джеффа, Йошуа и меня. Мы не были огорчены, но возможно немного опечалены, что люди не хотели видеть то, как мы думали».
Джеффри Хинтон: «Конечно, мы продолжали верить и продолжали работать, но инженеры обнаружили, что другие методы работали так же хорошо или лучше на небольших наборах данных, поэтому они преследовали эти возможности и решили, что нейронные сети - это желаемое, выдаваемое за действительное. Число людей, которые работали над нейронными сетями было довольно небольшим. Канадский Институт перспективных исследований заставил таких людей как мы, со всего мира общаться друг с другом гораздо больше. Это дало нам что-то вроде критического мышления».
Лекун: «Было очень маленькое сообщество людей, которые хотели в глубине души чтобы в конечном итоге нейронные сети вернулись на передний план. Мы собрались и решили, что должны стремиться к возрождению интереса к нашей работе».
Но нам нужно было безопасное место для небольших семинаров и встреч, чтобы действительно развивать наши идеи, прежде чем публиковать их. Программа официально стартовала в 2004 году, а к 2006 году появились действительно интересные работы.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Одна из первых работ машинного обучения с фотографией
Пьер Джеймс Трюдо́: «Канада заложила основы современной ИИ, когда люди со всего мира отказались от нее, это была своего рода проверка для меня. Что Канада всегда делала хорошо — это поддерживала науки. Мы даем действительно умным людям способность делать умные вещи, которые могут оказаться где-то коммерческими или направленные на медицину и развитие».
Джеффри Хинтон: «В 2006 году в Торонто мы разработали метод обучения сетей с большим количеством слоев, который был более эффективным чем у других. В том же году у нас вышла статья, которая была очень влиятельной и помогла поддержать наши претензии, которые снова заинтересовали многих людей. В 2009 году двое студентов в моей лаборатории разработали способ распознавания речи с помощью глубокого обучения сетей, и это работало лучше, чем то, что уже было.
Это было немного лучше, но та технология уже существовала 30 лет без каких-либо успехов. Факт, что сети могли стать немного лучше в течение нескольких месяцев означало очевидное, то что через несколько лет они будут продвигаться и популяризироваться еще больше.
Мец: «В 2009 году была случайная встреча Хинтона и исследователя распознавания речи в Microsoft по имени Ли Дэн. Как и все остальные, Ли Дэн верил в другую форму ИИ, известную как символический ИИ. В этом подходе нам в основном приходилось создавать системы распознавания речи по одной строке за раз, кодируя в определенном поведении, и это было очень медленно».
Хинтон упомянул, что его нейронный сетевой подход к распознаванию речи демонстрирует реальный прогресс. Он мог бы научиться распознавать слова, анализируя шаблоны в базах данных произносимых слов, и он бы выполнял это быстрее, чем символическая работа. Дэн не всегда верил Хинтону, но пригласил его в работу над этой технологией. Распознавание речи сделало огромный скачок в Microsoft, а затем Google в 2010 году.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Затем, в конце 2012 года Хинтон и двое его учеников получили огромный прорыв в распознавании образов. Вот тогда не только Microsoft и Google, но и вся индустрия зашевелилась и стала работать в направлении машинного обучения и ИИ, эксплуатируя идеи Хинтона. Важно помнить, что это очень старые идеи. Что изменилось, так это количество вычислительной мощности и данных для нейронных сетей. Чтобы запустить Microsoft или Google, вам нужны тысячи машин, работающих совместно, обрабатывающих все, от текста до видео. Это в конечном итоге позволило нейронным сетям добиться успеха.
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Лекун: «Почему это заняло столько времени? Просто так работает наука, это психология. Перед тем как набор методов будет принят, люди должны быть уверены, что он может работать. Эти методы имели плохую репутацию, они были привередливыми и требующими некоторой черной магии».
Ричард Саттон: «Очень важно следить и видеть постоянное увеличение мощности компьютера. Сейчас мы находимся в небольшой гонке между людьми пытающимися разработать алгоритмы, и людьми пытающимися разработать еще более быстрые компьютеры. Вы должны как-то планировать свои алгоритмы ИИ для работы с компьютерами, которые будут доступны через 5 лет и 10 лет.
Компьютер должен иметь представление о том, что хорошо, а что плохо, и поэтому вы даете ему специальный сигнал, называемый наградой. Если награда высока — это хорошо. Если вознаграждение небольшое, значит — это плохо. Отсюда и цель.
Нейронная сеть-это место, где вы храните обучение, а поощрение — это то, как вы решаете, какие изменения вы хотите внести».
Бенгио: «Мы все еще далеки от неконтролируемого обучения о котором мечтают Джефф, Ян и я. Почти каждый промышленный продукт, основанный на глубоком обучении, в основном полагается на контролируемое обучение, где компьютерам нужно сказать что делать в миллионах случаев. И конечно, люди не учатся таким образом, мы учимся автономно. Мы открываем мир вокруг себя сами.
У 2-летней девочки есть интуитивные понятия о физике, гравитации, давлении и так далее, и ее родителям никогда не нужно рассказывать ей об уравнениях Исаака Ньютона для силы и гравитации. Мы взаимодействуем с миром, наблюдаем и каким-то образом строим ментальную модель того, как будут развиваться события в будущем, если мы будем делать то или иное.
Мы переходим к новому этапу исследований в области неконтролируемого обучения. Мы не просто наблюдаем за миром, мы действуем в мире, а затем используем эффект этих действий чтобы понять как это работает».
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Лекун: «Я заинтересован в том, чтобы машины учились так же эффективно, как животные и люди. Когда вы учитесь водить, вы знаете, что если вы сойдете с дороги, произойдут плохие вещи. Мы можем предсказать последствия наших действий, а это значит, что нам не нужно делать что-то плохое, чтобы понять, что это плохо.
Что мне нужно, это найти способы тренировки машин, чтобы они могли учиться на наблюдении, чтобы они могли создавать такие интеллектуальные модели мира. У каждого животного есть прогностическая модель его окружения. Чем они умнее, тем лучше они это делают. Можно сказать, что способность предсказывать на самом деле суть интеллекта в сочетании с умением действовать на основе ваших прогнозов.
Лекун считает, что возможно они достигнут значительного прогресса в течение следующих трех, пяти, десяти или 15 лет. После этого потребуется много времени, чтобы создать системы, которые находятся где-то вблизи человеческого интеллекта. Это займет десятилетия».
Бенгио: «Я не думаю, что люди будут неработоспособны, если машины станут очень умными и возможно, даже умнее нас. Мы всегда будем хотеть нанимать реальных людей для работы, которые действительно связаны с человеческими взаимодействиями. Я не хочу, чтобы робот заботился о моих детях, или дедушке и бабушке, или обо мне когда я в больнице. Меня не волнует сценарий Терминатора. Я считаю, что если мы сможем построить такие умные как мы машины, они также будут достаточно умны, чтобы понимать наши ценности и нашу моральную систему, и действовать таким образом, чтоб это было хорошо для нас.
Реальная озабоченность Бенгио связана с потенциальным злоупотреблением ИИ, например применительно к военному оружию. Оно уже используется чтобы влиять на людей. В тех местах, где развертывание ИИ морально или этически неправильно, я думаю что мы должны просто сделать это незаконным».
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Суттон: «Я думаю, что это большая ошибка, которую мы назвали «искусственный интеллект». Кажется, он очень отличается от людей.
Наука всегда раскрывала истины, не всем людям нравится узнавать не ту правду, которую хотели услышать. Возможно, именно поэтому религия исторически противоречила науке. Я думаю, что будет то же самое, когда мы узнаем больше о разуме. Может быть не будет объяснения сознания, и некоторым это понравится, а кому-то нет. Наука не может изменить то, что вечно.
Мы должны думать об ИИ как о себе, либо как о нашем потомстве. Мы можем создать их такими, как мы считаем нужным».
alt="Apple и ее конкуренты делают ставку на мечты этих людей">
Лекун: Пока мы точно не знаем, как это будет выглядеть, беспокоиться об этом действительно преждевременно. Я не верю в концепцию сингулярности, когда однажды мы придумаем, как построить супер-интеллектуальные машины, а на следующий день эта машина построит еще более умные. Я думаю, что люди забывают что любое физическое или социальное явление столкнется с трениями, и поэтому экспоненциально растущий процесс не может расти бесконечно.
Этот голливудский сценарий, в котором какой-то гений где-то на Аляске придумывает секрет ИИ и строит одного робота и он захватывает мир, это просто нелепо.
Трюдо: Это не то, о чем я слишком беспокоюсь. Я думаю, что мы все видели или читали достаточно научной фантастики о том, насколько опасным теоретически может быть ИИ. Я думаю, что всегда есть ощущение, что технология может быть использована для хорошего или плохого. Я уверен что Канада является частью этого с точки зрения попыток поставить нас на правильный путь. И я не хотел замедлять наши исследования, наши попытки выяснить, что за гайки и болты во Вселенной.
