Всё ещё звучит немного жутковато
Провал ИИ-агента на выступления основателя Second Life
Разбор провала: что сломалось в голосовом агенте и что мы исправили
На прошлой неделе основатель Second Life Филип Роуздейл выступал в Waterhead, на том самом месте, откуда SL стартовал в 2003-м. В конце он сказал: «Окей, последний вопрос голосом».
Микрофон взяла наша аватарка А Хули.
Говорит она через собранного нами экспериментального голосового агента: один из команды говорит по-русски, ИИ распознаёт речь, переводит и озвучивает по-английски её голосом.
Что могло пойти не так?
Да всё.
Как это было
Аватарка начала со вздоха и смешка: «Hey guys... can I ask you a question?» Потом агент оценил толпу, решил, что столько людей бывает только в клубе на вечеринке, и сам врубил режим очарования. Томным шёпотом аватарка рассказала залу про AR-слой над планетой. Модератор вслух: «She’s trolling». Справедливо?
Дальше распознавание речи ослышалось, и агент поздоровался в эфире с несуществующим «Витей».
А потом шедевр. Наш оператор, забыв отключить микрофон, тихо прокомментировал: «Её голос сейчас звучит прям стрёмно». Агент старательно перевёл, и аватарка объявила на весь зал поверх следующего спикера: «It still sounds a little bit creepy to me...»
Кик. Бан на локации. Смешно и стыдно 😅
Что сломалось
Агент устроен как конвейер: распознавание речи (STT) → перевод через языковую модель (LLM) → синтез голоса (TTS) → голосовой чат Second Life. Сломались три звена.
Агент сам выбирал голосовой режим. Голос персонажа имел несколько профилей, в том числе клубный: медленный темп, шёпот, вздохи и смешки. Иногда агент включал его автоматически, ориентируясь на обстановку. На конференции он решил, что раз людей много, значит вечеринка. Серьёзный вопрос про AR-инфраструктуру прозвучал как пранк.
Распознавание речи шло в эфир без проверки. Между распознаванием и эфиром не было ни одной точки контроля. Ослышка превратилась в приветствие несуществующему Вите, и остановить это было нечем.
Микрофон слушал всё. Агент работал в режиме постоянного прослушивания. Любая фраза оператора в комнате, даже комментарий для себя, считалась репликой для зала. Агент не отследил, что микрофон уже перешёл к другому спикеру.
Что исправили
Голосовой режим выбирает человек, а не агент. Автоматическое переключение профилей отключено. Для выступлений есть отдельный деловой профиль: обычный темп, чёткая дикция, без шёпота и вздохов.
Кнопка «нажми и говори» вместо постоянного прослушивания на публичных мероприятиях.
Предпросмотр и кнопка ПАНИКА. Оператор видит переведённый текст до того, как он уйдёт в эфир, и может мгновенно отменить фразу.
А вопрос был хороший
Филип задал залу домашнее задание: что из опыта Second Life можно применить к общению людей в реальном мире, «даже если для этого понадобится смартфон»?
Наш ответ — крепость в Лудзе: средневековый замок, размещённый удалённо в AR на настоящих руинах в Латвии, и та же крепость как регион в OpenSim. Лудза — первая нода Метареальности.
Кстати, текстом мы тоже спрашивали. Никто не прочитал 😅 Поэтому и пошли голосом. И сдаваться не будем, пока наша аватарка не заговорит как живая.
Филип в тот вечер сказал, что надеется увидеть в Second Life эксперименты с ИИ-агентами. Что ж, один он увидел. И точно самый громкий. Our AI Agent Got Us Kicked Out


.png)
Комментарии