Старшеклассники московской школы №2065 обучили искусственный интеллект понимать человека без слов.

Созданное ими умное устройство для оптического распознавания жестов помогает управлять различными системами «умного дома» и комфортнее коммуницировать в социуме тем, кто из-за нарушения речи «говорить» может только на языке жестов.

Интеллектуальное устройство создано учащимися школы №2065 Степаном Сорокиным, Рамилем Суворовым и Валерией Кочневой. Оно напоминает «умную колонку» с видеокамерой. Камера считывает жест, который перед ней делает человек, ИИ обрабатывает данные и дает команду, например, через систему «умный дом» включить свет.

Для того чтобы нейросеть могла корректно считывать информацию, юные инженеры написали код, определили 21 точку на руке, по распределению которых ИИ и понимает жест. Устройство «запомнило» 26 комбинаций, обозначающих разные команды.

Идея кажется простой, однако ребятам потребовалось освоить глубокое машинное обучение нейросети.

Такое оптическое устройство можно устанавливать в разных системах – от «умного дома» до стоек информации в общественных пространствах, например, в МФЦ, социальных центрах или у регистратуры в поликлинике, чтобы, неговорящие пациенты получали нужные сведения о приеме врачей.

Проект, созданный под руководством учителя информатики Романа Перепечаева, на научно-практических конференциях «Инженеры будущего», «Курчатовский проект» и «Наука для жизни» был отмечен жюри и получил призовые места.