Traditional RAG methods are insufficient for effectively handling normative documents due to their complex structure and the limitations of vector-based representations.

Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу Когд... #RAG #llm #нормативные #документы #semantic #search #гост #строительство #нейросети #СП #СНИП Origin | Interest | Match

Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться. Мы увидели это на практике, когда строили систему для работы с нормативкой. Сначала задача выглядела стандартно: есть документы, есть вопросы пользователей, есть поиск по смыслу. Значит, нужен обычный RAG. Но довольно быстро стало ясно, что главная проблема здесь не генерация. Главная проблема в том, как представить документ так, чтобы retrieval не разрушал его структуру и смысл. В итоге мы ушли от плоской индексации к иерархическим узлам, группам соседних пунктов, отдельному слою терминов и графу обязательных связей между фрагментами. https://habr.com/ru/articles/1013832/ #RAG #llm #нормативные_документы #semantic_search #гост #строительство #нейросети #СП_СНИП #ии