13 C
Алматы
Четверг, 3 октября, 2024

Благодаря умным очкам на Raspberry Pi, язык жестов теперь можно преобразовать в звук

В эпоху быстрого технологического развития поразительные инновационные изобретения становятся обычными.

Однако некоторые проекты выделяются своим гуманитарным фокусом и стремлением упростить коммуникацию между людьми. Энтузиаст под псевдонимом Нехил разработал очки, используя одноплатный компьютер Raspberry Pi, которые могут распознавать язык жестов и преобразовывать его в речь с помощью функции текст-в-речь.

Система использует искусственный интеллект и видеопоток с камеры для отслеживания и интерпретации жестов рук. Обученная нейронная сеть способна распознавать отдельные буквы и немедленно озвучивать их, позволяя окружающим понять суть общения, даже не зная языка жестов.

Источник: securitylab.ru

Для реализации проекта Нехил использовал открытую платформу VIAM, ориентированную на создание умных устройств с использованием ИИ. Изначально он планировал использовать новейшую модель Raspberry Pi 5, но затем решил использовать более компактную и энергоэффективную модель Pi Zero 2 W, которая полностью справляется с поставленными задачами.

Камера V3 установлена на передней части оправы очков, что позволяет ей захватывать изображения и видео перед пользователем. Если собеседник находится в поле зрения камеры, система сможет “увидеть” и распознать его жесты. Сама оправа была спроектирована в Fusion 360 и напечатана на 3D-принтере специально для этого проекта.

В проекте Нехил использовал модель компьютерного зрения YOLOv8, обученную распознавать жесты, соответствующие отдельным буквам американского языка жестов (ASL). После распознавания буквы система озвучивает ее с помощью синтеза речи. Хотя платформа VIAM, на которой основано устройство, поддерживает работу с моделями TensorFlow Lite, в данном случае была выбрана более производительная модель YOLOv8 для более точного распознавания жестов.

Более подробную информацию о проекте можно найти на платформе Hackster, а также посмотреть его в действии в видео на YouTube.

Источникsecuritylab.ru
Последние события
Похожие темы

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь