В эпоху быстрого технологического развития поразительные инновационные изобретения становятся обычными.
Однако некоторые проекты выделяются своим гуманитарным фокусом и стремлением упростить коммуникацию между людьми. Энтузиаст под псевдонимом Нехил разработал очки, используя одноплатный компьютер Raspberry Pi, которые могут распознавать язык жестов и преобразовывать его в речь с помощью функции текст-в-речь.
Система использует искусственный интеллект и видеопоток с камеры для отслеживания и интерпретации жестов рук. Обученная нейронная сеть способна распознавать отдельные буквы и немедленно озвучивать их, позволяя окружающим понять суть общения, даже не зная языка жестов.
Для реализации проекта Нехил использовал открытую платформу VIAM, ориентированную на создание умных устройств с использованием ИИ. Изначально он планировал использовать новейшую модель Raspberry Pi 5, но затем решил использовать более компактную и энергоэффективную модель Pi Zero 2 W, которая полностью справляется с поставленными задачами.
Камера V3 установлена на передней части оправы очков, что позволяет ей захватывать изображения и видео перед пользователем. Если собеседник находится в поле зрения камеры, система сможет “увидеть” и распознать его жесты. Сама оправа была спроектирована в Fusion 360 и напечатана на 3D-принтере специально для этого проекта.
В проекте Нехил использовал модель компьютерного зрения YOLOv8, обученную распознавать жесты, соответствующие отдельным буквам американского языка жестов (ASL). После распознавания буквы система озвучивает ее с помощью синтеза речи. Хотя платформа VIAM, на которой основано устройство, поддерживает работу с моделями TensorFlow Lite, в данном случае была выбрана более производительная модель YOLOv8 для более точного распознавания жестов.
Более подробную информацию о проекте можно найти на платформе Hackster, а также посмотреть его в действии в видео на YouTube.
