Виртуальная и дополненная реальность

Цифровой ассистент "Айно"

Цифровой ассистент для посетителей выставки внедрен на стенде Республика Карелия международной выставки-форума «Россия» на ВДНХ.

О ПРОЕКТЕ

Цифровой ассистент "Айно"

Программно-аппаратный комплекс представляет собой интерактивный аватар карельской девушки Айно, представленный в виде 3D-модели на экране панели. Ассистент общается с посетителями на естественном языке в образе цифрового аватара, отвечает на вопросы о Карелии (и не только). ПАК может получать вопрос, заданный человеком на русском языке, обрабатывать его, генерировать ответ и проговаривать его от лица 3D-модели, отображаемой на экране.

Используемые технологии:

  • Видеоаналитика (определение фактов присутствия посетителей перед панелью)
  • Подсистема захвата звука голоса посетителя и преобразования речи в текст (преобразование звука вопроса в текст)
  • Диалоговая подсистема, генерирующая текстовый ответ на реплику посетителя
  • Подсистема TTS (преобразование текста ответа в голос)
  • 3D (визуализация аватара, анимация движений, «лип синк»