top of page

Всё ещё звучит немного жутковато

11 часов назад
2 мин. чтения

Провал ИИ-агента на выступления основателя Second Life



Разбор провала: что сломалось в голосовом агенте и что мы исправили

На прошлой неделе основатель Second Life Филип Роуздейл выступал в Waterhead, на том самом месте, откуда SL стартовал в 2003-м. В конце он сказал: «Окей, последний вопрос голосом».

Микрофон взяла наша аватарка А Хули. Говорит она через собранного нами экспериментального голосового агента: один из команды говорит по-русски, ИИ распознаёт речь, переводит и озвучивает по-английски её голосом.

Что могло пойти не так? Да всё.

Как это было

Аватарка начала со вздоха и смешка: «Hey guys... can I ask you a question?» Потом агент оценил толпу, решил, что столько людей бывает только в клубе на вечеринке, и сам врубил режим очарования. Томным шёпотом аватарка рассказала залу про AR-слой над планетой. Модератор вслух: «She’s trolling». Справедливо?

Дальше распознавание речи ослышалось, и агент поздоровался в эфире с несуществующим «Витей».

А потом шедевр. Наш оператор, забыв отключить микрофон, тихо прокомментировал: «Её голос сейчас звучит прям стрёмно». Агент старательно перевёл, и аватарка объявила на весь зал поверх следующего спикера: «It still sounds a little bit creepy to me...»

Кик. Бан на локации. Смешно и стыдно 😅

Что сломалось

Агент устроен как конвейер: распознавание речи (STT) → перевод через языковую модель (LLM) → синтез голоса (TTS) → голосовой чат Second Life. Сломались три звена.

  1. Агент сам выбирал голосовой режим. Голос персонажа имел несколько профилей, в том числе клубный: медленный темп, шёпот, вздохи и смешки. Иногда агент включал его автоматически, ориентируясь на обстановку. На конференции он решил, что раз людей много, значит вечеринка. Серьёзный вопрос про AR-инфраструктуру прозвучал как пранк.

  2. Распознавание речи шло в эфир без проверки. Между распознаванием и эфиром не было ни одной точки контроля. Ослышка превратилась в приветствие несуществующему Вите, и остановить это было нечем.

  3. Микрофон слушал всё. Агент работал в режиме постоянного прослушивания. Любая фраза оператора в комнате, даже комментарий для себя, считалась репликой для зала. Агент не отследил, что микрофон уже перешёл к другому спикеру.

Что исправили

  • Голосовой режим выбирает человек, а не агент. Автоматическое переключение профилей отключено. Для выступлений есть отдельный деловой профиль: обычный темп, чёткая дикция, без шёпота и вздохов.

  • Кнопка «нажми и говори» вместо постоянного прослушивания на публичных мероприятиях.

  • Предпросмотр и кнопка ПАНИКА. Оператор видит переведённый текст до того, как он уйдёт в эфир, и может мгновенно отменить фразу.

А вопрос был хороший

Филип задал залу домашнее задание: что из опыта Second Life можно применить к общению людей в реальном мире, «даже если для этого понадобится смартфон»?

Наш ответ — крепость в Лудзе: средневековый замок, размещённый удалённо в AR на настоящих руинах в Латвии, и та же крепость как регион в OpenSim. Лудза — первая нода Метареальности.


Кстати, текстом мы тоже спрашивали. Никто не прочитал 😅 Поэтому и пошли голосом. И сдаваться не будем, пока наша аватарка не заговорит как живая.

Филип в тот вечер сказал, что надеется увидеть в Second Life эксперименты с ИИ-агентами. Что ж, один он увидел. И точно самый громкий. Our AI Agent Got Us Kicked Out


Комментарии


Arcona Metareality Official Telegram

ПРИСОЕДИНЯЙТЕСЬ К ТЕЛЕГРАММ ARCONA

© 2021  компанией Arcona Technology

bottom of page