Системы, которые по данным сенсоров определяют активность человека, должны решать непростую задачу: улавливать и быстрые движения, например, резкое ускорение при падении, и длительные паттерны, например, отличать ходьбу от бега за несколько секунд. Чаще всего модели хорошо справляются лишь с чем‑то одним. Ученые обошли эту проблему, создав ИИ‑модель с двухветвевой архитектурой. Об этом порталу Наука Mail рассказала пресс-служба университета Иннополис. Работа опубликована в авторитетном научном журнале «Сложные и интеллектуальные системы».
Первая ветвь — временная сверточная сеть с причинными свертками — захватывает локальные и среднесрочные паттерны активностей — то, что человек делает прямо сейчас. А вторая ветвь — двунаправленные рекуррентные слои с механизмом канального внимания — моделирует долгосрочные зависимости — понимает контекст всей последовательности движений пользователя и предсказывает дальнейшую активность.
Модель получилась очень компактной — всего 50−62 тысячи параметров и 2−3,5 миллиона операций на одно предсказание. Благодаря этому ее можно запускать прямо на устройстве (без отправки данных в облако) даже на недорогих гаджетах с ограниченными ресурсами: например, на смарт‑часах, фитнес‑браслетах или медицинских приборах.
Ученые проверили модель на трех популярных наборах данных, которые применяют во всем мире для тестирования систем распознавания активности. В первом — почти 12 тысяч записей с акселерометров смартфонов 30 участников, где зафиксированы 17 видов действий, включая бег, подъем по лестнице, прыжки, падение в обморок и удар о препятствие. Второй набор содержит 4 миллиона записей с датчиков на запястьях, груди и лодыжках девяти человек с 13 классами активностей, от скандинавской ходьбы и уборки пылесосом до езды на велосипеде. Третий включает 4 тысячи записей с акселерометров 14 испытуемых, выполнявших 12 повседневных действий — от приема пищи и чистки зубов до лежания на кровати и использования телефона.
На первом наборе данных модель показала точность 97,49% — это на 2,49% выше прежнего мирового рекорда. Особенно ценно, что сбалансированность по классам (способность одинаково хорошо распознавать все активности, в том числе редкие) достигла 97,5%, тогда как у другой популярной модели этот показатель — 74,2%. В частности, разработка заметно лучше определяет разные типы падений.
На втором наборе точность почти достигла 98,91% — на 1,2% выше результата предыдущего лидера. Третий набор оказался самым сложным: в нем одних движений было в 10 раз больше, чем других — из‑за этого нейросети часто «заучивают» частые действия и пропускают редкие. Тем не менее модель ученых справилась с задачей: точность составила 92%, а распознавание редких активностей улучшилось на 10,38 процентных пункта по сравнению с предыдущей моделью. Это особенно важно, ведь в реальной жизни редкие события (например, падение) критичнее распространенных, таких как ходьба.
Наша модель оказалась устойчивой к реальным условиям. В отдельном эксперименте мы тестировали ее в условиях зашумленных сенсорных данных, собранных в естественных условиях без лабораторного контроля. При легком шуме точность сигнала снизилась всего на 3,34 процентных пункта — с 91,67% до 88,33%. При умеренном шуме — на 8,34 процентных пункта до 83,33%. Модель показала предсказуемое, а не резкое падение качества, что важно для реальных сценариев использования в носимых устройствах.
Ученые подчеркивают: распознавание активности человека по данным сенсоров — это не только научная задача, но и практически важная технология, которая может стать основой систем мониторинга здоровья — например, вовремя сигнализировать о рисках и вызывать скорую помощь. В будущем такая ИИ‑модель поможет следить за восстановлением пациентов после травм и инсультов, а также оценивать прогресс спортсменов в подготовке к соревнованиям.
Благодаря улучшенной модели умные часы и фитнес‑браслеты станут точнее: они смогут безошибочно считать шаги, пульс, сожженные калории и определять виды физической активности. Кроме того, технология пригодится в автономных транспортных системах — для распознавания пешеходов и анализа их поведения на дороге.
Ранее Наука Mail рассказывала о шести способах, которыми умные часы вас обманывают.