Искусственный интеллект

Эмбеддинг

Embedding · Векторное представление · Эмбеддинги

Эмбеддинг — числовое представление текста, изображения или другого объекта в виде вектора. Оно позволяет сравнивать объекты и находить материалы, близкие по смыслу или другим признакам, которые выучила модель.

Как это работает на примере

Модель эмбеддингов преобразует объект в упорядоченный набор чисел. Для поиска по документам такие представления обычно рассчитывают заранее, а запрос преобразуют при обращении пользователя. Затем сравнивают векторы запроса и документов с помощью выбранной меры близости.

Пользователь спрашивает: «Как уменьшить расходы на нейросеть?» В базе есть статья «Как экономить токены при работе с ИИ». Подходящая модель эмбеддингов может связать эти формулировки, хотя ключевые слова совпадают не полностью.

Близость векторов не доказывает истинность текста. Представления запроса и документов должны быть совместимы: нельзя без проверки смешивать результаты разных моделей или настроек.