Очистка дублей в Поиске Яндекса с помощью ИИ

Контекст

[Рассказать подробнее: как появился проект, кто был заказчиком, какие были ограничения по срокам, бюджету, данным.]

Задача

В выдаче и подсказках Поиска показывались дубли: один и тот же документ в разных обёртках. Ручной разбор успевал проверить 50 тысяч пар в неделю, этого не хватало.

[Рассказать подробнее.]

Что делали

Собрали дата-пайплайн, который готовит данные и обучает GPT-модель находить дубли. Подняли точность классификатора повторов с 95% до 98% ROC-AUC. Внедрили онлайн-дедупликацию в рекомендательную платформу AJAX.

[Рассказать подробнее.]

Что не сработало

[Рассказать подробнее: тупиковые гипотезы, что переделывали, где ошиблись в оценке.]

Результат

Разбор дублей ускорился с 50 тысяч пар в неделю до 50 тысяч в день. Доля дублей среди показанных документов упала с 8% до 1%.

Главная цифра: 8% → 1% — дублей в выдаче.

Чему научились

[Рассказать подробнее: выводы, которые переносим на следующие проекты.]

Стек

Python · C++ · Nirvana · GPT-3