Оттачивая навыки в VR: новые возможности для медицины и офтальмологии
Между решением стать хирургом и первой операцией на реальном человеке могут пройти годы… А вот попробовать свои силы на виртуальном пациенте способен даже человек без профильного образования. О том, как современные врачи оттачивают свои навыки в VR-симуляторах и какие возможности это открывает для медицины, на марафоне «Новые горизонты» от Российского Общества «Знание» рассказала руководитель направления VR компании NOE и преподаватель VR/AR технологий. Смотрите запись прямого эфира и откройте новый взгляд на VR в офтальмологии.
Комментарии
Поделитесь своими мыслями, используя поле для комментариев выше.
Конспект
Возможности симулятора NOE VR
Благодаря VR-технологиям у современных врачей появились новые возможности. Например, офтальмологи могут отточить свои навыки на симуляторе глазного яблока.
О виртуальных офтальмологических тренажерах рассказала Динара Кагирова, руководитель направления VR компании NOE и преподаватель VR/AR-технологий:
Ординатор надевает шлем, у него в руках есть джойстики, и он погружается в сцену, где находится основной инструмент офтальмолога — щелевая лампа. Перед студентом находится список заболеваний, которые можно изучить. Например, язва роговицы. Для того чтобы
Внутри симулятора есть наставник на основе искусственного интеллекта. Динара Кагирова:
Мы сейчас над ним активно работаем, чтобы студент не просто погружался в среду, а имел персонального наставника, который комментирует действия и запоминает, как ученик проводил какие-либо испытания. Сейчас мы собираем данные, чтобы внедрять в симулятор. Кроме того, в шлеме стоит специальный датчик eye-трекинга, который позволяет считывать усталость. Например, есть психофизиологические предикторы, которые сообщают, что пользователь либо устал, либо ему стало скучно — значит, нужно поменять материал.
От идеи до реализации
Идея такого тренажера изначально принадлежала врачам-офтальмологам. Именно они предложили специалистам виртуальной реальности поработать над его созданием. О команде проекта рассказала Динара Кагирова:
Специалистов должно быть много, но мы маленький стартап. У нас два потрясающих офтальмолога. Один из них — Андрей Демчинский, он параллельно занимается созданием биопротезов для глаз в компании «Сенсор-Тех». Прекрасный практикующий хирург — Наталья Анисимова. Также у нас есть специальный художник по материалам, который понимает, как изобразить конкретное заболевание. Конечно же, 3D-моделлеры, которые создают людей для тестирования модели глаза. У нас есть человек, который занимается искусственным интеллектом, он как раз пишет различные алгоритмы. Вот буквально месяц назад наш алгоритм по сбору данных с eye-трекинга оказался весьма успешным. За это нам дали наш первый патент в России. Связующим звеном между членами команды являюсь я, а также отвечаю за всю виртуальную реальность, то есть программирование. Мне нужно свести картинку таким образом, чтобы имитация передавала с высокой точностью то, что я увидела на реальном приборе.
Операции на симуляторе NOE VR
Хирургический блок на данный момент находится в разработке. Динара Кагирова объяснила:
Мы сейчас разрабатываем инструменты с датчиками, для того, чтобы в виртуальной реальности можно было проводить операции. Система захвата движений тоже очень важна. Мы можем поставить датчики на руки опытного хирурга, считать и записать их положение и движения. И студент, который приходит в симулятор, видит, как правильно ему управлять этими хирургическими инструментами. При этом мы ещё считываем движение каждого из них, для того чтобы картина была действительно точной. Должна быть минимальная задержка: если хирург воткнул иглу, ввёл препарат, то это отобразилось на экране, и произошли соответствующие физические процессы.
Помимо этого, разрабатывается мультиплеерный режим, при котором множество пользователей может добавиться в одну обучающую сцену, единое цифровое пространство. Это в некотором смысле своя метавселенная, куда люди приходят в виде аватаров. Получается цифровой университет, где большое количество пользователей делятся своими навыками и изучают материал.
