Вопрос или проблема
В последнее время меня вдохновляет этот https://rossum.ai/, который способен извлекать текст из счетов.
У вас есть идеи, как это можно реализовать? Я понимаю, что они провели много исследований, чтобы достичь такого уровня производительности, но в моем случае меня интересует общий подход к таким проблемам.
Если я правильно понимаю, первая часть процесса заключается в извлечении различных блоков из документа. В этом случае, является ли обнаружение объектов правильным способом для получения ограничивающих рамок вокруг блоков? Мне кажется, что оно может не совсем хорошо справляться с извлечением табличных данных.
Если это не обнаружение объектов, то какой правильный способ решения этой проблемы?
Спасибо.
Я думаю, что извлечение соответствующих деталей из счета в коммерческих приложениях, безусловно, требует множества высококлассных алгоритмов. Возможно, вы правы, что они сначала определяют соответствующие части, а затем извлекают детали.
Тем не менее, моя первая отправная точка была бы в том, чтобы получить весь текст из счета (например, с помощью tesseract). Если у вас есть приличное фото, tesseract сможет выполнить OCR содержимого. Следующим шагом будет определение соответствующего содержания, такого как сумма платежа, имена и номера банковских счетов. Это может быть возможно с помощью жестко закодированных правил до определенной степени. В качестве альтернативы можно использовать модели, похожие на NLP, для обнаружения определенных последовательностей. С некоторыми усилиями это должно сработать, так как счета являются относительно структурированными документами.
Существует несколько подходов, которые вы можете использовать для этого.
Первый метод включает использование регулярных выражений и некоторого манипулирования строками для извлечения соответствующих деталей. Это может сработать только в том случае, если макет документа прост и виды макетов не слишком разнообразны.
Второй, более надежный и точный подход заключается в использовании ИИ для извлечения данных. Этот подход включает 2 компонента. Один из них — это OCR-движок, а второй — модель глубокого обучения. Сначала вы должны извлечь весь текст, присутствующий в документе, с помощью OCR-движка. После извлечения текста передайте его в модель глубокого обучения (вам нужно будет предварительно обучить модель на вашем пользовательском наборе данных!), чтобы модель могла извлечь необходимые детали.
Я реализовал несколько подобных проектов, и, по моему мнению, лучший подход — это комбинировать оба метода (что-то вроде гибридного подхода), чтобы добиться максимальной точности.
Успехов!
Ответ или решение
Для извлечения структуры и содержания из счетов-фактур существует несколько подходов, каждый из которых имеет свои преимущества и недостатки. В этой области важно учитывать, что счета-фактуры являются довольно структурированными документами, но их оформление может варьироваться в зависимости от компании. Вот общее описание методов, которые можно использовать для решения данной задачи.
1. Извлечение текста с помощью OCR
Первым шагом в любом проекте по извлечению данных из счетов является получение текста из документа. Для этого можно использовать системы оптического распознавания символов (OCR), такие как Tesseract. Tesseract позволяет сделать это достаточно эффективно, особенно если изображение документа имеет хорошее качество. Так, Tesseract можно интегрировать в Python через библиотеку pytesseract.
Пример использования:
import pytesseract
from PIL import Image
# Загрузка изображения счета
img = Image.open('invoice.jpg')
# Применение OCR для извлечения текста
text = pytesseract.image_to_string(img)
print(text)2. Разделение на блоки
После извлечения текста следующим этапом является структурирование данных. Здесь можно применить методы, такие как объектное обнаружение, для выделения различных блоков на документе. Использование таких алгоритмов, как YOLO (You Only Look Once) или Faster R-CNN, может помочь в определении областей, содержащих определенные элементы, такие как наименования товаров, суммы и т.д.
Однако важно отметить, что для извлечения табличных данных это может быть не самым эффективным методом. В этом случае лучше использовать специализированные библиотеки, например, pdfplumber или camelot.
3. Выделение информации
После того как текст и его структура были идентифицированы, следующим шагом является извлечение конкретных данных, таких как сумма к оплате, номера счетов и названия компаний. Существует несколько способов сделать это:
-
Правила и регулярные выражения: Если документ имеет предсказуемую структуру, можно использовать регулярные выражения для извлечения критериев. Этот подход хорошо работает при необходимости обработки ограниченного количества форматов документов.
-
Обработка естественного языка (NLP): Использование моделей NLP может значительно улучшить точность извлечения, особенно если необходимо решить более сложные задачи, такие как понимание контекста или нахождение взаимосвязей между данными.
4. Гибридный подход
Наиболее эффективный способ — это комбинация методов OCR и использования глубокого обучения. Сначала извлекаем текст с помощью OCR, затем применяем глубокие обучающие модели, чтобы классифицировать и извлекать необходимые параметры из текста. Для этого потребуется обучение модели на кастомных данных, собранных из фактических счетов.
Заключение
Выбор подхода к извлечению структуры и содержания из счетов-фактур зависит от ваших конкретных потребностей и доступных ресурсов. Интеграция OCR для извлечения текста с использованием методов объектного обнаружения для выделения блоков, а затем применение правил и NLP для извлечения целевой информации создает мощную систему для обработки счетов-фактур. Этот многослойный подход обеспечивает высокую точность и надежность в том числе для различных форматов документов.