Когда появилась нейросеть в мире: история создания первой нейросети

Сложность вопроса: что считать первой нейросетью

Вопрос о том, когда появилась нейросеть в мире, не имеет однозначного ответа. Всё зависит от критериев: если считать нейросетью теоретическую математическую модель, то отправной точкой станет 1943 год. Если речь идёт о физическом устройстве, способном обучаться, — это начало 1950-х. А если важна практическая применимость и возможность решать реальные задачи, то первенство часто отдают перцептрону Фрэнка Розенблатта, представленному в 1958 году.

Такая неопределённость связана с постепенным развитием технологий. Сначала появилась математическая абстракция, описывающая принцип работы биологического нейрона. Затем последовали попытки воплотить эти идеи в аппаратном обеспечении. И только спустя годы были созданы системы, которые могли обучаться на данных и использоваться для решения прикладных задач. Каждый из этих этапов важен, и каждый по-своему может считаться началом эпохи нейросетей.

1943 год: модель Мак-Каллока–Питтса как теоретический фундамент

В 1943 году нейрофизиолог Уоррен Мак-Каллок и математик Уолтер Питтс опубликовали статью, которая заложила теоретическую основу всех будущих нейросетей. Они предложили математическую модель искусственного нейрона, работающего по принципу «всё или ничего»: нейрон получает несколько бинарных входных сигналов (0 или 1), суммирует их и, если сумма превышает пороговое значение, активируется и передаёт сигнал дальше.

Учёные доказали, что сеть таких упрощённых нейронов теоретически способна вычислять любую логическую функцию. Это была первая формальная модель, связавшая работу мозга с математическими вычислениями. Однако модель Мак-Каллока–Питтса была чисто теоретической: она не обучалась, не адаптировалась и не имела физической реализации. Веса связей задавались вручную, а не настраивались автоматически. Поэтому эту разработку корректнее называть первой математической моделью нейрона, а не полноценной нейросетью в современном понимании.

1949 год: правило Хебба и первая модель обучения

Следующий важный шаг сделал канадский нейропсихолог Дональд Хебб. В 1949 году он опубликовал книгу «Организация поведения», в которой сформулировал принцип, позже названный правилом Хебба: «Нейроны, которые активируются вместе, связываются вместе». Это означало, что если два нейрона постоянно срабатывают одновременно, связь между ними усиливается.

Правило Хебба стало первым описанием механизма обучения нейронной сети. Оно объясняло, как сеть может адаптироваться к поступающей информации без внешнего программирования. Хотя сам Хебб работал в области биологической психологии и изучал мозг животных, его идеи оказались напрямую применимы к искусственным нейронным сетям. Это правило до сих пор лежит в основе многих алгоритмов обучения, включая современные методы, использующие принципы синаптической пластичности.

1951 год: SNARC — первая физическая нейросетевая машина

В 1951 году студенты Принстонского университета Марвин Минский и Дин Эдмондс построили SNARC (Stochastic Neural Analog Reinforcement Calculator) — первую физическую нейросетевую машину. Устройство состояло из 40 искусственных нейронов, собранных из электронных ламп, моторов и сцеплений. SNARC моделировала поведение крысы в лабиринте: нейроны обучались находить путь к цели методом проб и ошибок.

Принцип обучения был прост: при правильном действии связи между нейронами усиливались, при ошибке — ослабевали. Это была первая обучаемая нейросеть в истории, способная менять свои параметры в процессе работы. Однако SNARC редко упоминается в популярных источниках как первая нейросеть. Причины в том, что машина была экспериментальной, решала узкую задачу, а Минский и Эдмондс не опубликовали подробного описания своей работы в научных журналах. Тем не менее, именно SNARC впервые продемонстрировала, что искусственная нейронная сеть может обучаться на практике, а не только в теории.

1957–1958 годы: перцептрон Фрэнка Розенблатта

Переломным моментом в истории нейросетей стал 1958 год, когда психолог и нейробиолог Фрэнк Розенблатт представил перцептрон. Именно его чаще всего называют первой нейросетью в современном понимании. Розенблатт работал в Корнеллской аэронавигационной лаборатории и создавал систему для распознавания визуальных образов по заказу военных.

Перцептрон объединил три ключевых свойства: практическое применение (решал реальные задачи), обучаемость (мог улучшать работу без перепрограммирования) и масштабируемость (принцип можно было развивать). Первая реализация — Mark I — представляла собой громоздкое устройство размером с комнату, состоящее из фотоэлементов и электронных схем. В 1958 году Розенблатт продемонстрировал, как Mark I распознаёт простые геометрические фигуры. Пресса отреагировала восторженно, а сам учёный верил, что перцептрон станет основой для создания искусственного интеллекта.

Как был устроен и обучался первый перцептрон

Перцептрон Розенблатта состоял из трёх слоёв элементов: сенсорного, ассоциативного и реагирующего. Сенсорный слой получал входные данные — например, изображение, разбитое на отдельные точки. Каждая точка могла быть активной или неактивной. Ассоциативный слой содержал элементы, которые получали сигналы от сенсоров через случайные фиксированные связи. Реагирующий слой состоял из выходных элементов, каждый из которых суммировал входящие сигналы, умножал их на веса и сравнивал результат с пороговым значением.

Обучение происходило по простому правилу: если ответ был правильным, веса не менялись; если перцептрон ошибался, веса корректировались — связи, приведшие к ошибке, ослаблялись, а те, что должны были сработать, усиливались. Процесс повторялся до тех пор, пока сеть не начинала давать правильные ответы на обучающих примерах. Первую нейросеть обучали на простых визуальных образах: геометрических фигурах, буквах, символах. Розенблатт показывал перцептрону изображение и указывал, к какому классу оно относится, а сеть постепенно «запоминала» отличительные признаки.

1969 год: критика Минского и первая «зима ИИ»

В 1969 году Марвин Минский и Сеймур Паперт опубликовали книгу «Перцептроны», в которой математически доказали ограничения однослойных перцептронов. Они показали, что такие сети не способны решать даже простую логическую задачу «исключающее ИЛИ» (XOR). Это открытие привело к первой «зиме искусственного интеллекта» — периоду, когда финансирование исследований в области нейросетей резко сократилось, а интерес научного сообщества заметно угас.

Важно отметить, что критика Минского касалась именно однослойных перцептронов. Позже было доказано, что многослойные сети с нелинейными функциями активации способны решать задачи, недоступные однослойным. Однако в конце 1960-х это ещё не было известно, и выводы Минского надолго охладили энтузиазм исследователей. Тем не менее, именно перцептрон Розенблатта заложил фундамент для будущего развития нейронных сетей, и его идеи вернулись в 1980-х годах с появлением многослойных архитектур.

1980–1990-е годы: возрождение интереса и обратное распространение ошибки

Возрождение интереса к нейросетям началось в середине 1980-х годов. Ключевую роль сыграл алгоритм обратного распространения ошибки (backpropagation), который позволил эффективно обучать многослойные сети. Интересно, что метод был независимо открыт двумя группами исследователей: в 1974 году его описал Пол Вербос, а в 1986 году значительно развили Джеффри Хинтон, Дэвид Румельхарт и Рональд Уильямс.

Алгоритм обратного распространения ошибки стал основой обучения большинства современных нейросетей. Он позволил корректировать веса не только в выходном слое, но и в скрытых слоях сети, что сделало возможным решение гораздо более сложных задач. В 1980-х годах Ян Лекун создал свёрточные нейронные сети (CNN), которые легли в основу современного компьютерного зрения. В 2018 году Хинтон, Лекун и Йошуа Бенджио получили Тьюринговскую премию за вклад в развитие глубокого обучения.

2000–2020-е годы: от глубокого обучения до ChatGPT и Midjourney

В начале 2000-х годов появление производительных GPU (графических процессоров) значительно ускорило процесс обучения нейросетей. Это стало толчком к развитию глубокого обучения (Deep Learning) — методики обучения многослойных сетей на больших объёмах данных. В 2017 году команда Google под руководством Ашиша Васвани опубликовала статью «Attention Is All You Need», в которой представила архитектуру трансформера. Эта архитектура произвела революцию в обработке естественного языка и легла в основу всех современных языковых моделей.

В 2018 году компания OpenAI представила GPT-1 — первую версию языковой модели, содержащую 117 миллионов параметров. За ней последовали GPT-2 (2019, 1,5 миллиарда параметров) и GPT-3 (2020, 175 миллиардов параметров). На основе GPT-3 был создан ChatGPT, который менее чем за два месяца привлёк 100 миллионов пользователей. Параллельно развивались генеративные модели для изображений: в 2021 году Дэвид Хольц основал Midjourney, а в 2022 году компания Stability AI выпустила Stable Diffusion с открытым исходным кодом. В России в 2023 году «Сбер» представил нейросеть Kandinsky — первый отечественный аналог Midjourney.

Чем первые нейросети отличаются от современных

Современные нейросети радикально отличаются от своих предшественников 1950-х годов. Первый перцептрон имел однослойную архитектуру и мог решать только простые задачи линейной классификации. Современные модели, такие как GPT-4, содержат сотни миллиардов параметров и используют многослойные архитектуры с механизмами внимания, что позволяет им генерировать тексты, изображения, музыку и даже программный код.

Ключевые различия включают: масштаб (от 40 нейронов в SNARC до триллионов параметров в современных моделях), метод обучения (от простого правила Хебба до обратного распространения ошибки и обучения с подкреплением), область применения (от распознавания букв до создания произведений искусства и научных открытий). Однако базовые принципы остались неизменными: нейросети по-прежнему обучаются на данных, корректируя веса связей между искусственными нейронами. Именно эти принципы, заложенные Мак-Каллоком, Питтсом, Хеббом и Розенблаттом, продолжают лежать в основе всех современных систем искусственного интеллекта.

Вопросы и ответы