Искусственный интеллект
Инференс
Inference · Вывод модели · Запуск обученной модели
Инференс — применение обученной модели к новым данным для получения результата. Для языковой модели это, например, генерация ответа на запрос; для модели эмбеддингов — вычисление векторного представления текста.
Как это работает на примере
На этапе обучения меняют параметры модели по примерам. Во время обычного инференса используют уже подготовленные параметры. Скорость и расход памяти зависят от модели, оборудования, длины входа и способа запуска.
Вы запускаете локальную модель, вводите вопрос и получаете ответ. В это время компьютер выполняет инференс. Сам по себе разговор не означает, что веса модели изменились или она навсегда запомнила сообщение.
Долгая генерация не является признаком обучения. История чата может сохраняться в приложении отдельно от параметров модели.
Почитать на сайте
Материалы, которые помогут разобраться и применить знания.