Вопрос или проблема
Используя Azure AI Studio, я создаю источник данных и подключения к azure blob storage. Перейдите в раздел Chat, выберите источник и автоматически создайте индекс. Я выбираю однократный запуск, он индексирует данные, и я могу общаться с ними через playground.
Пожалуйста, дайте подробные пошаговые инструкции о том, как добавить дополнительные данные (добавление файлов в существующий путь или указание на другой путь blob) и переиндексировать их, используя тот же индекс, предпочтительно через интерфейс Azure AI или ML Studio, чтобы он только обновил существующий индекс, не обрабатывая все файлы снова.
Также, пожалуйста, объясните, что происходит, если вместо выбора однократного индекса устанавливается расписание для повторного запуска. Создается ли новая версия индекса? Обновляется ли существующий индекс? Если индекс обновляется, знает ли он, если файл был удален? Повторно использует ли существующий индекс уже существующие данные или переиндексирует все заново?
До сих пор я загрузил новые файлы в существующее хранилище blob и смог создать новую версию в источнике данных, указывая на то же хранилище blob, и я вижу новые файлы в проводнике. Но я хочу снова обновить свой существующий индекс вручную, не создавая нового.
Ответ или решение
Чтобы добавить дополнительные файлы в существующий индекс Azure AI Studio через интерфейс, выполните следующие шаги:
Шаги по добавлению файлов в существующий индекс:
-
Откройте Azure AI Studio:
- Войдите в свой Azure AI Studio и перейдите к вашему проекту.
-
Проверьте данные в Blob Storage:
- Убедитесь, что ваши новые файлы загружены в нужный контейнер Azure Blob Storage, который вы использовали при создании источника данных.
-
Обновите источник данных:
- Перейдите в раздел "Источники данных" (
Data Sources). - Найдите существующий источник данных, который вы создали ранее для подключения к вашему Blob Storage.
- Щелкните на этот источник данных и выберите опцию "Обновить" (
Update). - Если требуется, обновите параметры соединения, чтобы включить новые файлы, или просто подтвердите, что вы хотите продолжить с текущими настройками.
- Перейдите в раздел "Источники данных" (
-
Переиндексация с использованием существующего индекса:
- Перейдите к вашему индексу в разделе "Индексы" (
Indexes). - Найдите индекс, который вы хотите обновить.
- Нажмите на кнопку "Пересоздать индекс" (
Rebuild Index) или "Индексировать заново" (Reindex). В некоторых случаях может быть опция для "Добавить данные" (Add Data). - Выберите необходимую опцию для индексации.
- Перейдите к вашему индексу в разделе "Индексы" (
-
Запустите процесс индексации:
- Выберите параметры для индексации, такие как запуск только для нового контента, и нажмите "Запустить" (
Run). - После завершения переиндексации проверьте, что новые документы добавлены к индексу.
- Выберите параметры для индексации, такие как запуск только для нового контента, и нажмите "Запустить" (
Что происходит при настройке расписания:
Если вы настроите автоматическое расписание для переиндексации, ситуация следующая:
- Пересоздание индекса: Автоматический запуск будет зависеть от ваших настроек. Если вы настроили частую переиндексацию, система будет проверять ваш исходный источник данных (Blob Storage) и сравнивать его с уже существующим индексом.
- Обновление существующего индекса: Если новые файлы были добавлены, индекс будет обновлен с учетом новых данных. Однако если файлы будут удалены, это также будет отражено в индексе, если настройка отслеживания изменений работает корректно.
- Переиндексация всех данных: Если система не может определить, какие файлы были изменены или добавлены, она может заново индексировать все данные. Чтобы избежать этого, важно правильно настроить источник данных и регулярно выполнять проверки.
Заключение:
Таким образом, вы можете добавлять новые файлы в существующий индекс в Azure AI Studio, следуя вышеописанным шагам. Убедитесь, что вы используете ту же конфигурацию индекса и чётко следите за обновлениями в источниках данных, чтобы индекс оставался актуальным и содержал только необходимые документы.