Искусственный интеллект
Чанкинг
Chunking · Разбиение документов на фрагменты · Чанки
Чанкинг — разбиение документа на фрагменты для обработки, индексации и поиска. В RAG он помогает передавать модели подходящие части источника вместо всего документа целиком.
Как это работает на примере
Текст можно делить по заголовкам, абзацам, предложениям или ограничению размера. Иногда соседние фрагменты частично перекрываются, чтобы сохранить связь между ними. Вместе с текстом полезно хранить название документа и место фрагмента в нём.
Длинную инструкцию делят на разделы «Оплата», «Доставка» и «Возврат». При вопросе о сроках возврата система находит соответствующий фрагмент и сохраняет ссылку на исходную инструкцию.
Слишком мелкие фрагменты теряют контекст, слишком крупные добавляют лишнее. Таблицы, списки и код нельзя бездумно разрывать фиксированным числом символов.
Почитать на сайте
Материалы, которые помогут разобраться и применить знания.