batch-processing

Вопрос или проблема Я хотел бы иметь возможность пакетно удалять тысячи или десятки тысяч файлов одновременно в S3. Каждый файл размером от 1 МБ до 50 МБ. Естественно, я не хочу, чтобы пользователь (или мой сервер) ждали, пока файлы находятся в процессе удаления.

Вопрос или проблема Я бы хотел использовать параллельную обработку, чтобы ускорить программу. Мой входной файл содержит 30 миллионов строк. Я хотел бы запустить 10 процессов параллельно. Но мой файл очень большой (содержит 30 миллионов строк).

Вопрос или проблема Я выполняю пакетную вставку в коде ниже, извлекая данные из одной базы данных и вставляя их в другой источник. Данные вставляются полностью, за исключением последней строки. Вместо этого дублируется предпоследняя строка.