Вопрос или проблема
Я ищу решение для извлечения триплетов из немецких доменно-специфических документов для построения графа знаний. Документы сочетают в себе право и физику. Существует ограничение, которое позволяет использовать документы только локально – поэтому я могу использовать модели только на нашем кластере, без моделей OpenAI или Antrophic.
Мой текущий подход использует SauerkrautLM-Nemo-12b-Instruct для извлечения триплетов с помощью few-shot подсказок. Но текстовые фрагменты имеют разную длину. Некоторые фрагменты текста состоят из четырех предложений, а некоторые – из сорока. Результаты приемлемые, но не хорошие, и я ищу лучшее решение.
Существуют несколько подходов в исследовательской области, такие как:
- Управляемое консистентностью извлечение и очистка знаний в LLM для нулевого извлечения триплетов отношений на уровне документа
- Улучшение подбора больших языковых моделей: сотрудничество моделей для извлечения реляционных триплетов
У вас есть опыт работы с этими подходами? Есть идея, как по-другому извлечь триплеты?
Заранее спасибо.
Ответ или решение
Извлечение триплетов из немецких текстов, специфических для доменов права и физики, представляет собой сложную задачу, требующую учета множества факторов, таких как специфика языковых конструкций, сложность терминологии и ограниченные возможности использования определенных моделей из-за требований локального хранения данных. Рассмотрим, как решить эту задачу более эффективно.
Теоретическая часть
Триплеты в контексте построения графов знаний представляют собой структуры вида (субъект, предикат, объект). Они служат важным элементом для представления знаний, так как позволяют формализовать отношения между различными элементами текста. Корректное извлечение таких структур требует не только понимания языка, но и специфической терминологии, характерной для определённого домена.
Основные проблемы при извлечении триплетов из текстов включают:
- Длина и структура текстов: Тексты, состоящие из различных по длине фрагментов, могут требовать разных подходов к анализу.
- Языковые особенности: Немецкий язык может иметь сложные грамматические конструкции, которые необходимо правильно интерпретировать.
- Терминология: Комбинация терминов из права и физики требует от модели как языковых знаний, так и предметных знаний.
Пример
Ваш текущий подход с использованием модели SauerkrautLM-Nemo-12b-Instruct с few-shot prompting можно улучшить, активируя заранее обученные модели, оптимизированные для извлечения отношений, такие как подача специально размеченных корпусах для конкретных доменов. Но результаты пока удовлетворяют только частично, что указывает на необходимость более гибкого подхода.
Применение
Учитывая контекст использования и ограничения, существует несколько вариантов улучшения процесса извлечения триплетов:
-
Разработка специализированной модели:
- Поскольку возможен только локальный запуск, можете рассмотреть возможность обучения специализированной модели на своём кластере. Для этого требуется создать или найти соответствующий корпус текстов, размеченных по схеме триплетов и охватывающих одновременно юридическую и физическую терминологию.
-
Улучшение качества извлечения:
- Используйте подходы из последних исследований, такие как Consistency Guided Knowledge Retrieval, что может помочь уменьшить шум в извлекаемой информации и повысить точность.
- Внедрите методы коллаборации между моделями, чтобы объединить результаты нескольких моделей для повышения полноты извлечения. Это потенциально повысит recall, устранив пропущенные триплеты.
-
Семантический анализ и масштабирование:
- Разделите текст на логически завершённые отрывки, опираясь на контекст, чтобы улучшить качество извлечения. Это поможет справиться с разнообразной длиной текстовых фрагментов.
- Рассмотрите семантический поиск в контексте использования специализированных тематических словарей и онтологии для повышения точности определения отношений.
-
Оценка и корректировка результатов:
- Внедрите систему оценки извлечённых триплетов, которая будет учитывать доменные метрики. Это поможет отслеживать изменения в точности и степени покрытия во время тестирования и внедрения.
Процесс разработки и внедрения такого подхода будет сложным и потребует значительных ресурсов, однако правильная реализация сможет обеспечить высокое качество данных для последующего построения графов знаний. Эти шаги не только оптимизируют текущие процессы, но и создадут основу для будущих расширений и доработок системы.