Последние новости

ЗА РУБЕЖ? ПОЕХАЛИ!...

17 февраля 2025
Реклама

Студент КФУ разработал систему распознавания жестов

Студент Таврического колледжа, лаборант лаборатории цифрового творчества «ФабЛаб» Крымского федерального университета Денис Щербаков разработал систему для распознавания жестового языка. Проект включает в себя три системы распознавания жестов, одна из которых построена на основе нейросети.

«Я обучал нейросеть на протяжении недели, экспериментировал с разными архитектурами. Зная дело, я смог подобрать нужную архитектуру, сделать датасет для нейросети и обучить её всему тому, что необходимо», – отметил Денис Щербаков.

Студент использовал датасет – базу данных, на основе которой обучается нейросеть. При помощи неё он научил нейросеть распознаванию дактильной азбуки – побуквенного языка жестов.

Для разработки использовалась система, состоящая в сравнении координат – костяшек руки. Также использовались специальные функции, дескрипторы многоугольника, который составляла рука. Путём математики и алгоритмов был создан датасет, с помощью которого можно идентифицировать жест.

Посредством камеры программа распознаёт жесты и выводит буквы на экран. Как отмечает студент, одним из самых сложных в процессе разработки было создание датасета.

«Особенность заключается в том, что чем больше датасет, тем лучше можно обучить нейросеть, и тем лучше будет система. В датасете, на основе которого разрабатывалась наша система, на каждую букву приходится от ста до двухсот примеров жестов от разных людей, с разных камер и ракурсов. Я просил окружающих делать жесты дактильной азбуки на камеру, чтобы увеличить датасеты и научить нейросеть», – поделился Денис Щербаков.

На данный момент система способна распознавать более тридцати знаков.

Кроме разработки системы распознавания жестов, Денис увлекается программированием, моделированием и кинематографом, а также имеет опыт работы с робототехникой и 3D-печатью.


При подготовке статьи были использованы материалы: Пресс-службы КФУ

Тоже важно:

Комментарии:






* Все буквы - латиница, верхний регистр

* Звёздочкой отмечены обязательные для заполнения поля