Как создать нейронную сеть на питоне

Нейронные сети — одно из главных направлений в развитии машинного обучения. Благодаря их применению можно решать такие сложные задачи, как распознавание людей на изображениях или видео, точное моделирование и многое другое. Сегодня мы рассмотрим, как создать несложную нейронную сеть на Python.

Что такое нейросеть?

Нейронная сеть или нейросеть — это комплекс программных данных, имитирующих работу мозга. Нейросеть состоит из нескольких уровней (слоев) искусственных нейронов, которые обмениваются информацией между собой, посылая сигналы. Искусственные нейроны — это простые процессоры, объединившие между собой, способные выполнять довольно сложные задачи.

Есть разные типы нейронных сетей: прямопроходные (FNN), сверточные (CNN) и рекуррентные (RNN). В отличие от обычных настольных или мобильных приложений нейросети не программируются, а самостоятельно учатся. У них нет алгоритмического кода, как в программе. При обучении нейроны находят сложные зависимости между разными типами данных.

Сейчас уже трудно представить, но принцип обучения нейросетей был описан еще в 1949 году ученым Дональдом Хэббом. Но в течение следующих десятилетий эта идея развивалась только в теоретическом направлении: компьютерное оборудование было слишком слабым для практической реализации. Лишь в 80-х годах ученые смогли создать первую компьютерную модель для распознавания алфавита и почтовых индексов. Дальше технология начала постепенно совершенствоваться. В конце 90-х компьютер научили распознавать рукописный текст, нейронные сети начали использовать для выявления рака молочной железы на маммограммах и моделирования структуры белка.

Настоящий прорыв в развитии и применении нейросетей произошел в 2011 году, когда нейронная сеть впервые превзошла человеческие возможности на конкурсе по распознаванию визуальных образов. Параллельно шел процесс совершенствования компьютерного оборудования. Благодаря более мощным графическим процессорам процесс обучения нейросетям начал достигать неслыханных высот.

Почему Python?

Среди десятков языков программирования Python оказался наиболее востребованным, когда дело касается создания нейронных сетей. Этому несколько объяснений. На первый взгляд, может показаться, что все это из-за лаконичного синтаксиса Python. И действительно, код Python более краток, чем, например, в Java. Но дело не только в этом. Одна из главных причин, почему Пайтон так популярен в разработке нейросетей, состоит в том, что он имеет мощную экосистему библиотек для разработки моделей машинного обучения. Это, в первую очередь, TensorFlow и Keras. Также сюда следует добавить PyTorch, scikit-learn, NumPy и Pandas.

Кроме библиотек, в пользу Python играет активное сообщество, оказывающее большую поддержку проектам в сфере искусственного интеллекта. К тому же, Python поддерживает интеграцию с языками типа C++ и Fortran, которые можно использовать для вычислительно интенсивных частей нейронных сетей.

Создание нейросети на Python

Чтобы создать нейросеть на Python, сначала нужно подготовить для этого соответствующую среду. Нам понадобится установить Python (если он у вас до сих пор не установлен) и библиотеки.

Python можно скачать на официальном сайте. Для установки библиотек TensorFlow и Keras запустите следующую команду:

pip install tensorflow

 

Теперь переходим к созданию нейронной сети для распознавания букв английского алфавита на Python. Мы будем использовать синтетический набор данных. Его можно создать самостоятельно или скачать предварительно созданный набор, например EMNIST Letters, содержащий изображения букв английского алфавита. Предполагается, что у нас уже есть готовый набор данных.

# Импорт необходимых библиотек
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten, Dropout
from tensorflow.keras.utils import to_categorical
from tensorflow.keras.datasets import emnist

# Загружаем данные EMNIST (буквы)
(x_train, y_train), (x_test, y_test) = emnist.load_data(split='letters')

# Нормализуем данные (преобразование значений пикселей в диапазон [0, 1])
x_train, x_test=x_train/255.0, x_test/255.0

# Преобразуем метки в категории (кодирование one-hot)
y_train = to_categorical(y_train - 1, 26)  # Вычитаем 1, ибо буквы обозначены от 1 до 26
y_test = to_categorical(y_test - 1, 26)

# Строим нейронную сеть
model = Sequential([
   Flatten(input_shape=(28, 28)),         # Преобразование 28x28 изображений в векторы
   Dense(256, activation='relu'),         # Скрытый слой с 256 нейронами и ReLU
   Dropout(0.5),                          # Dropout для предотвращения переобучения
   Dense(128, activation='relu'),         # Еще один скрытый слой
   Dropout(0.5),                          # Дополнительный Dropout
   Dense(26, activation='softmax')        # Выходной слой с 26 нейронами (по одному на букву)
])

# Компилируем модель
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# Обучаем модель
model.fit(x_train, y_train, epochs=10, batch_size=64, validation_split=0.2)

# Оцениваем модель на тестовых данных
test_loss, test_acc = model.evaluate(x_test, y_test)
print(f'Точность на тестовых данных: {test_acc:.4f}')

 

Составляющие элементы

Загрузка и подготовка данных:

1. Мы используем набор данных EMNIST для букв, содержащий изображение букв английского алфавита в формате 28×28 пикселей.
2. Нормализуем изображение, преобразуя значения пикселей в диапазон [0, 1].
3. Превращаем метки в категорийный формат one-hot, чтобы нейронная сеть могла использовать их как цели.

Построение модели:

1. Flatten: преобразует каждое изображение 28×28 в вектор для дальнейшей обработки.
2. Dense(256, activation=’relu’): первый плотный слой с 256 нейронами и функцией активации ReLU.
3. Dropout(0.5): регуляризация Dropout, которая случайным образом отключает 50% нейронов на каждой эпохе, чтобы уменьшить переобучение.
4. Еще один плотный слой со 128 нейронами и Dropout.
5. Dense(26, activation=’softmax’): исходный слой с 26 нейронами (по одному на каждую букву) с функцией Softmax, дающей вероятности для каждого класса.

Компиляция модели:

Используем оптимизатор adam, функцию потерь categorical_crossentropy (поскольку у нас многоклассовая классификация) и метрику accuracy.

Обучение нейросети

Обучаем модель на 10 эпохах с размером пакета 64 с использованием 20% данных для валидации. После этого оцениваем точность модели на тестовых данных.

Процесс обучения состоит в подаче на модель набора обучающих данных и настраивании весов сети с целью минимизации функции потерь. Этот процесс итеративный и повторяется в течение определенного количества эпох, во время которых модель просматривает весь набор данных и обновляет весы.

При обучении нейронная сеть проходит следующие шаги:

1. Прямой проход: модель принимает данные и генерирует предсказания.
2. Вычисление погрешности: сравнивает предсказание с правильными метками и вычисляет значение функции потерь.
3. Обратное распространение погрешности (backpropagation): сеть корректирует свои весы, чтобы свести к минимуму погрешность.

history = model.fit(x_train, y_train, epochs=10, batch_size=32, validation_data=(x_val, y_val))

 

Эта модель – только первоначальный пример. Чтобы улучшить результат, можно использовать дополнительные слои, применять другие методы регуляризации или экспериментировать с другими гиперпараметрами, такими как размер пакетов или количество эпох.

Сохранение и развертывание модели

Когда модель готова, ее можно сохранить для дальнейшего использования, чтобы не обучать каждый раз. Сохранившуюся модель можно развернуть для использования в реальном времени или интегрировать в приложение.

model.save("my_model.h5")  # Сохранение модели в формате HDF5

 

Следует помнить, что овладение несколькими базовыми примерами создания нейросетей не сделает из вас крутого специалиста. Для начала вам нужно иметь уверенные навыки работы с Python, знание линейной алгебры и основ математического анализа. Нейронные сети зависят от матриц, векторов и градиентов, так что понимание этих концепций поможет легче понимать их работу.

Также вам придется ознакомиться с библиотеками для машинного обучения: не только TensorFlow и Keras, но и PyTorch и scikit-learn. Далее следует изучить базовые концепции машинного обучения: регрессию и классификацию, обработку данных, попрактиковаться в работе с готовыми наборами данных: MNIST, CIFAR-10, Fashion MNIST. Научиться классифицировать текст.

Когда вы перейдете к практике, начинать лучшее из простых проектов: распознавание рукописных цифр или классификации сортов цветов. Если все удается, переходите к более сложным задачам: построению сверточной нейронной сети (CNN) для классификации изображений или рекуррентной нейронной сети (RNN) для анализа последовательностей.

Постепенно модифицируйте их, добавляйте больше слоев, изменяйте гиперпараметры или экспериментируйте с другими архитектурами. И только после этого переходите к проектам из реальной жизни: например, распознавание объектов.

Заключение

Создание нейросети на языке Python возможно благодаря использованию библиотек TensorFlow и Keras. Приведенные в настоящей публикации примеры демонстрируют базовую нейронную сеть для классификации букв. В следующий раз, для более сложных задач, можно добавлять другие типы слоев, такие как сверточные (Conv2D), рекуррентные (LSTM) и другие, чтобы повысить мощность модели.

Эта статья может стать основой для создания нейронных сетей, с нее вы можете начать изучение более сложных архитектур: гиперпараметров, добавление новых слоев или создание более глубоких моделей для улучшения результатов.