www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

моя история с глубоким обучением и нейронными сетями - часть I

Дата публикации Jun 10, 2017

Примечание. Первоначально опубликовано в Blogger 25 ноября 2015 г.

Я начал работать над Deep Learning с 2008 года, примерно в это время года. Мне посчастливилось иметьЯн ЛеКункак наставник, так и один из его талантливых учеников:Клемент Фарабет, Вместе мы создали сверточные ускорители нейронных сетей. Это было как раз перед тем, как поле было названо «Глубокое обучение». Но давайте уменьшим немного больше:

Со времени моей докторской диссертации, в течение 1998–2004 годов, я работал в области нейроморфной инженерии. Мне посоветовали одни из лучших в этой области:Андреас Андреумой супер талантливый консультант PhD,Ральф-Etienne-Cummings- также близкий советник,Герт Кавенбергс- третий близкий коллега, и косвенно такжеКвабена Боаэн- один из самых известных «Нейроморфов». Я в основном стоял на плечах гигантов. Я должен им всю оставшуюся жизнь, интерес. И вы читаете этот мемуар из-за них!

В любом случае, Нейроморфная Инженерия - это область, которая черпает вдохновение из Биологии для создания инженерной системы, которая может выполнять все задачи, которые биология лучше всего выполняет, такие как понимание сложных данных: изображений, видео, обучения и т. Д.

Биология или, может быть, просто «нейронные сети».

Прибегая еще дальше, во время моего бакалавриата в Университете Триеста, Италия, я изучал модели зрительной системы человека. Затем я узнал, насколько сложен человеческий мозг, и тогда начал ласкать идею посвятить свою жизнь репликации человеческого мозга в синтетические системы. И это была хорошая жизненная цель в сочетании с тем, что, копируя что-то, нужно действительно понимать, как все это работает! Во время моей аспирантуры 1998–2004 гг. Понимание нейронных сетей стало моей жизненной целью. В то время я был связан с различными светилами в области электротехники, робототехники, нейробиологии, психологии из международной исследовательской группы Neuromorphic Engineering. Это действительно расширяет мои интересы, чтобы я мог выслушать все научные проблемы во всех этих, казалось бы, не связанных областях.

Но позже я узнал все больше и больше, что все связано. Это как гигантский мозг. Как гигантская нейронная сеть!Подробнее об этом будет сказано позже.

Некоторые из нейроморфных инженерных целей состояли в том, чтобы воспроизвести способность человека понимать окружающую среду. Люди делают это в основном визуально, ведь зрение может расширить вашу «чувствительную сферу» дальше всего, дальше, чем прикосновение, или ваше тело, и даже дальше, чем звук, который могут ощущать ваши уши. Но все наши чувства дают невероятную способность выживать в окружающей среде. Мир, в котором люди жили, был намного менее безопасным всего несколько тысяч лет назад… В 1998–2004 годах, когда я защитил диссертацию, я работал над многими искусственными глазами или специальными датчиками изображения, способными получать правильную визуальную информацию в нужное время. Возможно сжатие огромного количества визуальных данных.

В то время мне было интересно работать с индустрией, но все это казалось очень далеким от моих целей и от устройств, которые я создавал. Промышленное производство и исследования датчиков изображения того времени были направлены на то, чтобы продвигать лучшие камеры для мобильных телефонов. Не в отличие от сегодняшнего дня. И это казалось настолько информативным, чтобы думать только о добавлении большего количества пикселей и увеличении скорости. Но да, это была революция. Я был рад быть связанным с лучшими исследователями в мире инновационными датчиками изображения, такими какЭрик Фоссума такжеGunhee Han,Июнь охта, назвать несколько.

В то время некоторые из моих сокурсников и консультантов из Johns Hopkins создали лучшие нейроморфные датчики изображения и систему видения: талантливыеЯкоб Фогельштейн,Виктор Груеви, что особенно заметноШи-Чи Люа такжеТоби Дельбрюк, Например, датчик динамического зрения и кремниевая сетчатка от Тоби были одними из лучших датчиков.

Но с 2003 года я все больше и больше интересовался «что на картинке?», А не просто делал красивые фотографии, даже с нашими модными нейроморфными камерами! Причина заключалась в том, что было трудно действительно втиснуть больше вычислений в датчики изображения. Неизбежность производства 2D-чипов удерживала нас в 2D-мире. Такие провидцы, как мой советник Андреас, знали, что нам нужно перейти на 3D, недавнюю тенденцию в сенсорах и воспоминаниях!

В то время, если вы хотели сделать больше в поле зрения, разработка более совершенных датчиков изображения была не лучшим решением. Компьютер Vision меня тоже не впечатлил. Мне не понравилось или не понравилось пытаться вручную решить все проблемы со зрением и попытаться разбить его на части, как это было исторически сделано гештальт-психологом и математиками-компьютерщиками. Мне все показалось, что это можно обобщить в (в) известной целиMIT бумагас 1966 года, чтобы полностью воспроизвести человеческое зрение в одном летнем проекте Такая цель, на сегодняшний день, оказалась сложной задачей для решения!

Вместо этого меня привлекло то, как человеческий мозг решает проблему.

Зрительная система человека - лучшая система зрения во вселенной, на мой взгляд! По крайней мере, лучше для моих человеческих глаз, в его способности выполнять так много задач и питать наш разум нашим мозгом. Часто я думал, что причина, по которой наш мозг так развит, в основном из-за нашей зрительной системы или совместной эволюции обоих. Вот! Пища для дискуссии. Человеческая зрительная система - это то, что позволяет нам с легкостью перемещаться по окружающей среде. Я действительно хотел воспроизвести это, использовать его в роботах и ​​машинах, и заставить компьютеры видеть так, как это видят люди.

Это теперь цель моей жизни.И чтобы сделать это, углубиться в проблему интеллекта, языка и технической эволюции. Все эти темы, кажется, сливаются воедино. Я не знаю деталей, но некоторые футуристические картины ясны в моей голове. Подробнее будет сказано.

Возвращаясь к 2006–2017 годам, одной из моих целей исследования было создание нейронной системы, способной воспроизводить способность нашего зрения распознавать объекты. Тогда я был действительно вдохновленТомас Серреработа и дипломная работа, во главе с известнымТомазо Поджо, Их работы MIT были настоящим вдохновением, и сШоушун Ченмы усердно работали над воспроизведением некоторых их моделей на аппаратном уровне.

Затем, однажды в начале 2008 года, я разговаривал с нашим уважаемым коллегойБернабе Линарес-Барранко, который случайно упомянул работу Янна ЛеКуна. И Янн только что переехал в Нью-Йоркский университет, а я тогда был в Йельском университете, и он любезно согласился прийти и представить семинар. И чтовдохновениеон был. У него былсамая простая модель нейроновразработчик оборудования просил! И способы обучения больших систем! Это было «учусь», Концепция, которая избежала моего опыта PhD, хотя мои близкие друзья и коллегиРоман Генова такжеШантану Чакрабарттыработали над машинами опорных векторов и нейронными сетями еще в 1998–2005 годах. Все это сразу имело смысл для меня.

Обучение, простые нейронные модели, масштабируемые системы, био-вдохновение, модели зрительной системы человека!

С 2008 года мы начали работать надискусственное железона основе программируемых логических устройств (Xilinx FPGA) для реализации глубоко нейронной сети в аппаратном обеспечении. Нам очень повезло работать с Клементом Фарабетом, который познакомил нас с Torch и сделал нашу лабораторию впоследствии одним из разработчиков инструментов. Факел позволил легко создать нейронную сеть и обучить их программному обеспечению. Это был большой шаг вперед по сравнению с предыдущими библиотеками CNN, которые были менее хакерскими и понятными.

В течение следующих нескольких лет, с 2008 по 2011 год, мы работали с Клементом Фарабетом над нестандартным оборудованием, пока он не перешел на работу в свою собственную компанию по разработке программного обеспечения, а затем приобрел в 2014 году Twitter (поздравляем!). В 2011 году наша лаборатория (e-Lab) переехала в университет Пердью, и мы начали готовить новое поколение экспертов по машинному обучению: Джонгхун Джин, Айсегул Дундар, Альфредо Канциани и другие эксперты в области аппаратного обеспечения, такие как Винаяк Гокхале. Берин Мартини продолжал совершенствовать аппаратную систему в течение последних нескольких лет, пока Винаяк Гокхале не изобрел совершенно новую архитектуру в 2014–2015 годах. Наши специалисты по машинному обучению и я работали над визуальным отслеживанием, затем над обучением без надзора с использованием методов кластерного обучения и кластеризации k-средних, а также над компиляторами для нашего нестандартного аппаратного обеспечения. Мы написали много программного обеспечения для Torch7, и мы поддерживали демонстрационный код и программное обеспечение задолго до появления Caffe и других инструментов. Летом 2013 года вся электронная лаборатория работала вместе, чтобы портировать нашу аппаратную систему на устройства Xilinx Zynq, настоящие встроенные системы, объединяющие ядра AMR и матрицу FPGA. Мы разработали низкоуровневый код для взаимодействия с устройством в драйверах устройств Linux, а затем внедрили полную аппаратную систему и программный компилятор. Мы назвали эту систему nn-X и впервые представили ее на NIPS 2014, где наша демонстрация оборудования получила волну внимания и признания в средствах массовой информации.

В то же время было ясно, что мы являемся экспертами в ключевой будущей технологии Deep Learning, и я решил финансировать компаниюTeradeepДля того, чтобы коммерциализировать наши аппаратные устройства в программируемых устройствах, а также перевести их на собственные микрочипы. Главная цель состояла в том, чтобы все устройства могли видеть и воспринимать мир так же, как люди.

Цель состояла в том, чтобы создать специализированный микрочип для запуска нейронных сетей на устройстве с батарейным питанием, например, на мобильном телефоне. И на серверах дата-центров, и на системах для автономных автомобилей.

Это были первые годы, большинство отраслей промышленности не знали, что такое глубокое обучение, им все это казалось «еще одним из этих алгоритмов». Видение было хорошо живым в наших сердцах, но его трудно было воспринять во многих офицерах компании. Позже их бы смутило, что они пропустили стартовый пистолет. - КОНЕЦ ЧАСТИ I - СНОСКА: 1: Это моя история Я надеюсь, что это может помочь другим получить перспективу. Через чей-то опыт, если это вообще возможно.

2: Огромное спасибо также идти в Управление военно-морских исследований, ONR иТомас МакКенна, который финансировал много нашей исследовательской деятельности.


Первоначально опубликовано в Blogger 25 ноября 2015 г. Более свежие комментарии см.https://medium.com/towards-data-science/can-we-copy-the-brain-9ddbff5e0dde

Об авторе

У меня почти 20-летний опыт работы в нейронных сетях как в аппаратном, так и в программном обеспечении (редкая комбинация). Смотрите обо мне здесь:средний,страница в Интернете,филолог,LinkedIn, и больше…

Пожертвования

Если вы нашли эту статью полезной, пожалуйста, рассмотритепожертвованиеподдерживать больше учебников и блогов. Любой вклад может иметь значение!

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map