Conversation Gauntlet: попасть в ответ — ещё не быть выбранным

В работе по AI-видимости принято различать четыре состояния, и их надо мерить отдельно:

• Появление: бренд вообще назвали в ответе?
• Цитирование: модель использовала источники бренда как доказательства?
• Рекомендация: бренд представлен как рабочий вариант?
• Выбор: бренд остался финальной рекомендацией после того, как покупатель надавил ограничениями?

Первые три состояния — диагностика входа. Четвёртое — ближайший наблюдаемый прокси коммерческого решения, и его почти никто не меряет. Бренд, который никогда не попадает в первый ответ, имеет потолок. Но бренд, который попадает в первый ответ и теряется на третьем вопросе, теряет сделку — и дашборд это не показывает.

На Marketing Engineering Hackathon от Profound в Сан-Франциско я за 8 часов собрал Conversation Gauntlet: агент прогоняет пятивопросные диалоги покупателя против AI-движков и записывает по каждому шагу, какие бренды вошли, какие выжили и какие были выбраны ^[1][2]. Два прогона — категория продуктовой аналитики и маркетплейс аренды жилья — дали паттерн выпадения:

• Mixpanel на Gemini: вошёл в 24 из 24 первых ответов — финальный выбор только в 13 из 24.
• Mixpanel на GPT-5.5 с веб-поиском: 16 из 24 первых ответов — финальный выбор один раз.
• Прогон по аренде жилья: Airbnb выиграл 13 из 48 диалогов, Vrbo и RnR Vacation Rentals — по 9 из 48, Plum Guide — 1 из 48.
• RnR Vacation Rentals: вошёл всего в 10 из 48 первых ответов, но конвертировал 9 из них в финальный выбор — лучшая выживаемость в прогоне.
• lake.com (тестируемый бренд): 0 из 48 появлений в первом ответе и 0 из 48 финальных выборов — честный базовый уровень, а не приукрашенная победа.

Каждое сохранённое утверждение в прогоне подкреплено точной цитатой, проверенной против ответа движка: 2 475 причин приняты, 38 отброшены на валидации. Каждая доля считается с интервалом Уилсона 95%, потому что на 48 диалогах честный интервал важнее декоративной точности ^[1].

Три независимых источника указывают на ту же слепую зону. Отличие наших замеров от их формулировок в том, что гонтлет измеряет выпадение напрямую — по каждому шагу, по каждому движку:

• VML называет это conversational churn: бренд выглядит сильным в первом ответе, а потом исчезает, когда покупатель добавляет личные ограничения, сравнения и технические требования. Их материал так и называется — «Your Brand Looks Great in AI. Until the Second Question». Со ссылкой на Klaviyo и 6sense они приводят: 78% потребителей добавляют личный или эмоциональный контекст в промпты, а 94% B2B-покупателей используют LLM на протяжении исследования ^[3].
• SearchPilot показывает в экспериментах, что путь покупателя — это диалог, а не промпт: каждый следующий вопрос формируется историей разговора и памятью, и финальная рекомендация часто отличается от первой ^[4].
• Независимое исследование цитирований разводит цитирование и рекомендацию полностью: на выборке из 3 981 домена 62% цитирований оказались «призрачными» — источник использован, но бренд не назван, — а в B2B-замере процитированный бренд выпадал из списка рекомендаций в 69% случаев ^[5].

Читается вместе так: упоминание — не цитирование, цитирование — не рекомендация, рекомендация на первом шаге — не финальный выбор. Каждая граница — отдельное измерение, и деньги двигает последнее.

Конструкция намеренно простая, чтобы чеки оставались проверяемыми. Персона задаёт пять вопросов подряд — так покупатель сужает шорт-лист, — а отдельная модель оценивает каждый шаг:

• Движок ≠ судья. Gemini выдавал ответы с веб-контекстом, Claude оценивал шаги, GPT-5.5 стоял резервным судьёй и в прогоне lake не оценил ни одного шага. Разделение отвечающей и оценивающей модели держит табло честным.
• Чеки по шагам. Каждое упоминание записано с точной цитатой и вопросом, который его породил; утверждения, не прошедшие проверку цитатой, отбрасываются, а не округляются.
• Интервалы, а не вайбы. Доли отдаются с интервалом Уилсона 95%, и 13/24 читается как «примерно половина», а не как псевдоточный процент.
• Честный ноль. Тестируемый бренд получил 0/48 и 0/48 — опубликовано как есть, потому что гонтлет, который показывает только победы, — маркетинг, а не измерение.

Гонтлет — не отдельный инструмент, а последняя миля цикла аудита: аудит отвечает «могут ли бренд найти и процитировать», дашборд — «сдвинулось ли что-то за неделю», гонтлет — «на каком вопросе бренд умирает и что публиковать, чтобы это чинить» ^[6][7].

Каждое измеренное выпадение превращается в задачу:

• Проигранный вопрос — шаг, на котором бренд отвалился (например, где покупатель добавил ограничение по интеграции).
• Доказательства победителя — источники и утверждения, которые протащили выживший бренд через этот шаг.
• Страница для создания или улучшения — каноническая страница на своём домене, которая отвечает на проигранный вопрос лучше источника победителя.
• Внешние поверхности — площадки, из которых выигравший ответ брал доказательства: цели для earned media на следующий спринт.

Поэтому метрика финального выбора важна операционно: она производит бэклог контента, а не просто скор. Каждое выпадение само называет свою задачу на ремонт.

1. Выберите 8–12 коммерчески важных промптов и прогоните их как пятивопросные диалоги покупателя, а не одиночные запросы. Одна персона, одна последовательность, еженедельно.
2. Меряйте долю финального выбора рядом с долей первого ответа. Если дашборд показывает видимость, а выборы не двигаются — разрыв в середине диалога, а не на поверхности.
3. Назовите проигрышный шаг. Для каждого оборвавшегося диалога запишите точный вопрос, на котором бренд исчез, — этот вопрос и есть бриф на страницу.
4. Сначала публикуйте страницу-ответ на каноническом домене, затем распространяйте нативные рерайты на поверхности, которые цитирует выигравший ответ.
5. После релиза прогоните те же диалоги и сравнивайте долю финального выбора по интервалу Уилсона — не по сырому счёту.

[1] Conversation Gauntlet — живая демка и чеки прогонов: — собран на Marketing Engineering Hackathon Profound в Сан-Франциско, 3 октября 2026. — https://profound-hackathon-gregory.hwai-ops.xyz/

[2] Полевая заметка о хакатоне, где гонтлет был собран и измерен: — https://gregshevchenko.com/notes/marketing-engineering-hackathon-sf-2026/

[3] VML — «Your Brand Looks Great in AI. Until the Second Question»: — со статистикой Klaviyo и 6sense о личном контексте в промптах и LLM в B2B-исследованиях. — https://www.vml.com/insight/unlock-multi-turn-ai-search-visibility

[4] SearchPilot — «Buying journeys are conversations, not prompts»: — эксперименты, где финальные рекомендации расходятся с первой. — https://www.searchpilot.com/resources/blog/conversations

[5] Исследование призрачных цитирований: — 62% ghost citations на 3 981 домене и 69% случаев «процитирован, но не рекомендован» в B2B-замере. — https://searchengineoptimization.blog/research/cited-but-not-recommended

[6] Чек-лист аудита AI-видимости в семь слоёв: — каноническая RU-версия. — https://humanswith.ai/ru/blog/ai-search-visibility-audit-checklist/

[7] Методология измерения видимости, которую гонтлет продолжает в слой диалога: — https://gregshevchenko.com/notes/ai-search-visibility-measurement/