С помощью TabularTranslator в ADF как мне сопоставить массив со строкой?

Вопрос или проблема

Исходный (MSSQL): SELECT JSON_ARRAY('Test') as category

Результат (JSON): ["Test"]

Ответ или решение

В Azure Data Factory (ADF) можно использовать TabularTranslator для того, чтобы преобразовать данные из SQL в JSON. Однако, если необходимо преобразовать массив в строку, вам придется знать, как правильно настроить схему трансляции. Ниже приведены инструкции, как это сделать, чтобы преобразовать массив JSON, полученный из MSSQL, в строку в формате JSON.

Шаги для настройки TabularTranslator

1. Создание Pipeline в ADF:
   Убедитесь, что у вас уже есть созданный pipeline, в который вы будете добавлять Copy Activity.

2. Настройка источника данных:
   В вашем Copy Activity укажите источник данных как MSSQL, а затем введите SQL запрос:

   SELECT JSON_ARRAY('Test') as category

3. Настройка назначения (Sink):
   Укажите формат данных назначения как JSON. Теперь перейдем к настройке TabularTranslator.

4. Настройка TabularTranslator:
   В Copy Activity найдите раздел "Mapping" (Сопоставление) и выберите "TabularTranslator".

   • Настройка полей:
     Вам нужно создать сопоставление, которое будет переводить ваше поле category из входных данных.

   Например, если у вас есть следующее сопоставление:

   • Source Field: category
   • Sink Field: category (в том же формате, как и в источнике, в виде массива)

   Однако, для правильного формирования JSON в формате ["Test"], вам может потребоваться модифицировать выходные данные, чтобы они были записаны как массив. Это может потребовать применения некоторых дополнительных настроек.

5. Использование выражений:
   Вы можете использовать выражения в ADF, чтобы обработать массив. Например, если хотите, чтобы массив был изначально представлен как строка, используйте функцию JSON из ADF:

   @json(concat('[', item(), ']'))

   Это позволит обернуть ваши данные в квадратные скобки, что фактически и создаст массив.

6. Проверка и тестирование:
   После того, как вы настроили все необходимые поля и настройки, выполните тестирование вашего pipeline. Убедитесь, что данные корректно переносятся из MSSQL в JSON, и что массив формируется именно так, как вы ожидаете: ["Test"].

Заключение

Если вы выполните данные шаги, вы сможете правильно сопоставить массив к строке с помощью TabularTranslator в Azure Data Factory, избегая необходимости использования Mapping Data Flow. Важно помнить, что нужно настроить массив правильно, что позволит сохранить целостность данных при переносе.

Если у вас возникнут какие-либо сложности с выполнением данных шагов, попробуйте проверить конфигурации сопоставления и убедитесь, что формат данных соответствует ожидаемому JSON.