Виртуальная и дополненная реальность

Цифровой аватар "Айно"

Цифровой аватар для посетителей выставки внедрен на стенде Республика Карелия международной выставки-форума «Россия» на ВДНХ.

О ПРОЕКТЕ

Цифровой аватар "Айно"

Программно-аппаратный комплекс представляет собой интерактивный аватар карельской девушки Айно, представленный в виде 3D-модели на экране панели. Аватаробщается с посетителями на естественном языке, отвечает на вопросы о Карелии (и не только). ПАК может получать вопрос, заданный человеком на русском языке, обрабатывать его, генерировать ответ и проговаривать его от лица 3D-модели, отображаемой на экране.

Используемые технологии:

  • Видеоаналитика (определение фактов присутствия посетителей перед панелью).
  • Подсистема захвата звука голоса посетителя и преобразования речи в текст (преобразование звука вопроса в текст).
  • Диалоговая подсистема, генерирующая текстовый ответ на реплику посетителя.
  • Подсистема TTS (преобразование текста ответа в голос).
  • 3D (визуализация аватара, анимация движений, «лип синк»).