Студент Таврического колледжа, лаборант лаборатории цифрового творчества «ФабЛаб» Крымского федерального университета Денис Щербаков разработал систему для распознавания жестового языка. Проект включает в себя три системы распознавания жестов, одна из которых построена на основе нейросети.
«Я обучал нейросеть на протяжении недели, экспериментировал с разными архитектурами. Зная дело, я смог подобрать нужную архитектуру, сделать датасет для нейросети и обучить её всему тому, что необходимо», – отметил Денис Щербаков.
Студент использовал датасет – базу данных, на основе которой обучается нейросеть. При помощи неё он научил нейросеть распознаванию дактильной азбуки – побуквенного языка жестов.
Для разработки использовалась система, состоящая в сравнении координат – костяшек руки. Также использовались специальные функции, дескрипторы многоугольника, который составляла рука. Путём математики и алгоритмов был создан датасет, с помощью которого можно идентифицировать жест.
Посредством камеры программа распознаёт жесты и выводит буквы на экран. Как отмечает студент, одним из самых сложных в процессе разработки было создание датасета.
«Особенность заключается в том, что чем больше датасет, тем лучше можно обучить нейросеть, и тем лучше будет система. В датасете, на основе которого разрабатывалась наша система, на каждую букву приходится от ста до двухсот примеров жестов от разных людей, с разных камер и ракурсов. Я просил окружающих делать жесты дактильной азбуки на камеру, чтобы увеличить датасеты и научить нейросеть», – поделился Денис Щербаков.
На данный момент система способна распознавать более тридцати знаков.
Кроме разработки системы распознавания жестов, Денис увлекается программированием, моделированием и кинематографом, а также имеет опыт работы с робототехникой и 3D-печатью.
При подготовке статьи были использованы материалы: Пресс-службы КФУ
