Большинство коммерческих публикаций об оптимизации под искусственный интеллект опираются на единичные скриншоты ответов в чате, которые невозможно воспроизвести или статистически проверить. В то же время фундаментальное исследование Принстонского университета на конференции ACM SIGKDD 2024 показало, что влияние структурированных фактов, статистики с приростом +37% и ссылок на первоисточники с приростом +30–40% должно измеряться строго на фиксированной выборке запросов в сопоставлении с контрольной группой.
Чтобы предоставить белорусскому рынку прозрачные и воспроизводимые данные о том, как обогащение цифрового паспорта компании влияет на попадание в ответы нейросетей, мы запустили открытый лонгитюдный эксперимент на фиксированной матрице из 200 поисковых запросов. Сводное табло текущих показателей в реальном времени публикуется на странице исследований и полигона замеров, а в настоящем документе зафиксирован полный методологический протокол испытаний.
Структура матрицы из 200 запросов: отраслевой и брендовый контуры
Полный перечень тестируемых формулировок жёстко закреплён в машиночитаемом манифесте tools/benchmark_200_queries.json и разделён на две сбалансированные части по 100 запросов:
| Сектор матрицы замеров | Объём выборки | Объект исследования | Какие именно поисковые интенты проверяются |
|---|---|---|---|
| Часть А. Отраслевой поиск подрядчиков | 100 запросов | 4 реальных сектора экономики в Минске, Гомеле, Бресте, Витебске, Гродно и Могилёве | Поиск поставщиков и исполнителей по конкретной узкой специализации и городу без указания названия компании |
| Часть Б1. Экспериментальная группа компаний | 50 запросов | 25 действующих предприятий Беларуси с полностью обогащёнными цифровыми паспортами | Прямые запросы по названию организации, городу и 9-значному УНП о реквизитах, официальном сайте и спектре услуг |
| Часть Б2. Контрольная группа компаний | 50 запросов | 25 сопоставимых действующих предприятий тех же отраслей и регионов в базовом виде | Идентичные проверочные вопросы по компаниям, карточки которых содержат только базовую выписку ГРП МНС и ЕГР |
Для исключения отраслевых искажений в выборку из каталога компаний включены исключительно предприятия четырёх не-ИТ секторов реальной экономики: Оптовая торговля, Ремонты и строительство, Недвижимость и Медицина. Каждому из 50 юридических лиц в брендовой части матрицы соответствуют ровно два контрольных вопроса:
1. Запрос по фирменному наименованию и городу для проверки того, распознаёт ли модель официальный сайт и реальные виды работ компании;
2. Запрос с указанием 9-значного УНП для проверки точности извлечения юридического статуса и регистрационных фактов. Подробный анализ того, какие подзапросы при этом генерируют сами модели, приведён в статье как нейросети ищут белорусские компании.
Технические различия между экспериментальной и контрольной группами на старте T0
В базовой точке старта T0 от 01.11.2026 из 1 992 проверенных корпоративных доменов белорусских предприятий были отобраны 50 действующих организаций и разделены на две равные когорты по 25 компаний:
| Параметр карточки цифрового паспорта | Экспериментальная группа — 25 предприятий | Контрольная группа — 25 предприятий |
|---|---|---|
| Регистрационные реквизиты ГРП МНС и ЕГР | Полная синхронизация по 9 цифрам УНП со статусом «Действующий» | Полная синхронизация по 9 цифрам УНП со статусом «Действующий» |
| Технический аудит домена и БелГИЭ | Выполнен полный аудит HTTPS, хостинга в Беларуси, возраста WHOIS и роботов | Только базовое наличие ссылки на домен без детального протокола инспекции |
| Узкие специализации и цитаты с сайта | Привязаны конкретные направления из 35 специализаций с дословными цитатами source_quote | Оставлена только общая статистическая строка пятизначного кода ОКЭД из ЕГР |
| Индекс полноты данных карточки | Высокий балл полноты — от 75 до 95 баллов из 100 | Базовый балл полноты — от 35 до 50 баллов из 100 |
| Связанный граф Schema.org и FAQPage | Полный граф из 5 сущностей с развёрнутыми ответами по услугам и инфраструктуре | Базовая разметка регистрационных реквизитов организации |
Такая постановка эксперимента позволяет с математической точностью измерить, какую долю прироста видимости даёт переход от сухой государственной выписки к полностью заполненному цифровому паспорту с подтверждёнными специализациями, механизм работы которых описан в статье почему код ОКЭД не показывает реальные услуги.
Три независимых поисковых контура и календарный график замеров
Автоматизированный скрипт tools/run_benchmark.py опрашивает все 200 запросов без использования ручного браузера через три независимых программных интерфейса:
1. Контур Google AI Overviews для региона Беларусь: фиксирует наличие генеративного блока ai_overview в поисковой выдаче Google, текст сводки и массив цитируемых доменов;
2. Контур Google Gemini с активным поиском Google Search Grounding: записывает синтезированный ответ модели, массив поисковых подзапросов webSearchQueries и список проверенных источников groundingChunks;
3. Контур OpenAI с инструментом веб-поиска реального времени: фиксирует вызовы web_search_call, полноту распознавания реквизитов компании и блок сносок annotations.
Замеры проводятся в четыре фиксированные даты с сохранением неизменяемых журналов storage/benchmarks/run_*.jsonl:
- Точка T0 от 01.11.2026: фиксация стартовой нулевой базы непосредственно в день публикации обогащённых паспортов и специализированных подборок;
- Точка T1 от 15.11.2026: контрольный срез через 14 дней после первичного обхода обновлённых страниц краулерами, активность которых фиксируется в разделе мониторинга ИИ-ботов;
- Точка T2 от 29.11.2026: срез через 28 дней после обновления поисковых индексов отраслевых и городских таблиц сравнения;
- Точка T3 от 27.12.2026: итоговый двухмесячный замер с расчётом статистической разницы в упоминаниях и прямом цитировании между экспериментальной и контрольной группами.
Почему честная фиксация нулевой базы на старте T0 является обязательным правилом
В день развёртывания новых страниц в точке T0 от 01.11.2026 поисковые индексы ещё не успевают переиндексировать новые URL-адреса подборок и обогащённые карточки, поэтому базовый показатель прямого цитирования закономерно находится на нулевом уровне. Согласно данным Pew Research Center, в генеративную сводку попадает лишь узкий круг проверенных источников, по которым переходит около 1% пользователей, а весь остальной трафик распределяется на основе доверия модели к сущности.
Публикация честных нулевых значений на старте T0 без искусственной подгонки цифр — это базовый стандарт научной достоверности нашего полигона. О том, как последовательно соотносятся между собой все четыре измеряемые метрики, читайте в статье обход, индексация, упоминание и цитирование, а проверить карточку своего предприятия по УНП и бесплатно включить её в контур верифицированных данных можно на странице создания паспорта.