Вопрос или проблема
Для университетского проекта мне нужно сравнить производительность различных API (Copilot, Gemini и ChatGPT) в извлечении информации из входных данных и использовании её для генерации ответов, резюме и т.д.
Входные данные — это .csv файл, содержащий серию транзакций, и я хочу ответить на такие вопросы, как:
Какова общая сумма Кредитов в финансовом отчете?
Каково описание последней записанной транзакции?
Какая дата встречается чаще всего в финансовом отчете?
Сколько транзакций связано с услугами по техническому обслуживанию?
Я уже выполнил это с помощью ChatGPT и Gemini от OpenAI. Поскольку у Copilot нет публичного API, я думаю, что мне придётся использовать Azure в качестве замены. Однако, учитывая, что Azure OpenAI по сути то же самое, что OpenAI, это может подорвать цель сравнения.
Поэтому я ищу альтернативное решение для выполнения этих задач с использованием сервисов Microsoft Azure. Существует ли библиотека или служба, которая позволяет мне извлекать и обрабатывать такую информацию из входных данных (не обязательно в формате .csv, так как я могу их предобработать) и получать ответы на те же вопросы?
Я рассматривал Document Intelligence (для обработки входных данных) и QuestionAnswering, но я понял, что последнее более подходит для случаев, когда нужно извлечь ответ из текста.
Ответ или решение
Для выполнения университетского проекта, который требует сравнения производительности различных API, таких как Copilot, Gemini и ChatGPT, в задаче по извлечению информации из входных данных и их последующего анализа для генерации ответов, резюме и т.д., необходимо найти подходящую альтернативу Azure OpenAI для работы с функциями завершения чата. Особой сложностью задачи является то, что необходимые операции должны быть выполнены на основе данных в формате .csv, содержащем информацию о транзакциях.
Теория
Основная задача состоит в анализе данных и извлечении из них полезной информации. Для этого обычно используются API, которые могут обрабатывать большие объемы данных, извлекать ключевые признаки и предоставлять пользователю структурированные ответы на конкретные вопросы. В вашем случае такие вопросы включают выявление суммарного количества кредитов, описание последней записи, наиболее часто встречающуюся дату и идентификацию транзакций, связанных с услугами по техническому обслуживанию.
Стратегия извлечения такой информации подразумевает применение методов обработки естественного языка (NLP) и анализа данных. При использовании NLP-алгоритмов важно учитывать семантический контекст и структуру данных. Современные платформы AI и алгоритмы машинного обучения предоставляют инструменты для извлечения скрытых закономерностей и структурирования данных, что позволяет автоматизировать выполнение подобных задач.
Пример
Рассмотрим, например, использование сервиса "Document Intelligence" для анализа входных данных. Этот сервис предоставляет инструменты для обработки различных форматов документов, включая распознавание текста и его семантическую обработку. Другим подходом может быть использование "Azure Cognitive Services", который предлагает функциональность для анализа текста и извлечения сущностей.
Однако для создания высокоинтерактивного решения, которое будет исключать повторное использование технологий OpenAI, рекомендуется обратить внимание на другие AI-платформы и библиотеки, которые менее ложны к API OpenAI, но предоставляют аналогичные функции.
Применение
Для достижения цели проекта можно изучить и использовать следующие альтернативные решения:
-
Google Cloud Natural Language API: Этот сервис предоставляет мощные средства для анализа текста, извлечения сущностей и классификации содержания. Он хорошо подходит для обработки финансовых данных и может привести к созданию моделей для ответов на вопросы.
-
AWS Comprehend: Является облачным NLP-сервисом от Amazon, который может помочь в идентификации ключевых фраз, определения языка и даже извлечения тональности, что может быть полезно при выделении транзакций определенной категории.
-
IBM Watson Natural Language Understanding: Эта платформа позволяет извлекать метаданные из текста – такие как концепции, категории и ключевые слова. Она станет мощным инструментом для анализа финансовой отчетности и уменьшения зависимости от OpenAI API.
-
Hugging Face Transformers: Открытое решение для интеграции современных моделей машинного обучения и NLP, которое поддерживает множество предобученных моделей и может использоваться для создания кастомизированных решений по требуемой задаче.
-
SAP Leonardo Machine Learning Foundation: Предоставляет различные AI-инструменты для анализа бизнес-процессов. Хотя он более ориентирован на корпоративные приложения, может предлагать альтернативный путь для обработки транзакционных данных.
Важно также учесть, что успешное выполнение поставленной задачи требует глубокого понимания содержания данных и начального построения архитектуры решения на основе доступных библиотек и инструментов обработки данных. Подготовка данных на этапе предобработки (нормализация, трансформация в текстовые форматы, очистка от шумов) является критически важным этапом, от качественного выполнения которого зависит эффективность конечной модели.
Таким образом, выбор альтернативы требует глубокого понимания поставленных задач и предлагаемого функционала каждой из технологий, с учетом особенностей конкретного проекта. Эффективная интеграция одной из предложенных альтернатив обеспечит высокую производительность и надежность в выполнении необходимых функций анали