Благодаря умным очкам на Raspberry Pi, язык жестов теперь можно преобразовать в звук

Дата:

В эпоху быстрого технологического развития поразительные инновационные изобретения становятся обычными.

Однако некоторые проекты выделяются своим гуманитарным фокусом и стремлением упростить коммуникацию между людьми. Энтузиаст под псевдонимом Нехил разработал очки, используя одноплатный компьютер Raspberry Pi, которые могут распознавать язык жестов и преобразовывать его в речь с помощью функции текст-в-речь.

Система использует искусственный интеллект и видеопоток с камеры для отслеживания и интерпретации жестов рук. Обученная нейронная сеть способна распознавать отдельные буквы и немедленно озвучивать их, позволяя окружающим понять суть общения, даже не зная языка жестов.

Источник: securitylab.ru

Для реализации проекта Нехил использовал открытую платформу VIAM, ориентированную на создание умных устройств с использованием ИИ. Изначально он планировал использовать новейшую модель Raspberry Pi 5, но затем решил использовать более компактную и энергоэффективную модель Pi Zero 2 W, которая полностью справляется с поставленными задачами.

Камера V3 установлена на передней части оправы очков, что позволяет ей захватывать изображения и видео перед пользователем. Если собеседник находится в поле зрения камеры, система сможет “увидеть” и распознать его жесты. Сама оправа была спроектирована в Fusion 360 и напечатана на 3D-принтере специально для этого проекта.

В проекте Нехил использовал модель компьютерного зрения YOLOv8, обученную распознавать жесты, соответствующие отдельным буквам американского языка жестов (ASL). После распознавания буквы система озвучивает ее с помощью синтеза речи. Хотя платформа VIAM, на которой основано устройство, поддерживает работу с моделями TensorFlow Lite, в данном случае была выбрана более производительная модель YOLOv8 для более точного распознавания жестов.

Более подробную информацию о проекте можно найти на платформе Hackster, а также посмотреть его в действии в видео на YouTube.

Источникsecuritylab.ru

ОСТАВЬТЕ ОТВЕТ

Пожалуйста, введите ваш комментарий!
пожалуйста, введите ваше имя здесь

Поделиться:

Подписаться

Популярные

Похожие темы
Похожие

Ушёл дорогой вечности…

Какое наследие оставил Казахстану Мурат Ауэзов.

Миллиард в бензобаках: схему незаконного оборота ГСМ выявили в Алматы

В Алматы выявили схему незаконного оборота нефтепродуктов.

Госслужащих будут отбирать по-новому в Казахстане

Государственных служащих будут отбирать по-новому в Казахстане. Об этом сообщил заместитель председателя Агентства по делам государственной службы (АДГС) Азамат Жолманов.

Президент Малави обещает использовать все ресурсы для поиска пропавшего самолета

Президент Малави Лазарус Чаквера заявил, что готов задействовать все имеющиеся ресурсы для поиска самолета, на борту которого находился вице-президент Саулос Чилима со своей командой.