amazon-s3
Вопросы и ответы
Вопрос или проблема Я разрабатываю прототип моего проекта, который использует этот код для проверки существования данного ресурса по определенному пути, где пользователь имеет доступ только к одной корзине: func checkExistence(key: String) async ->
Вопросы и ответы
Вопрос или проблема Я создал базу знаний в Amazon BedRock (храня PDF-файлы в Amazon S3). Вместо того чтобы хранить мои файлы в Amazon S3, я хочу получать их из Google Drive. Кто-нибудь это делал? Ответ или решение Как интегрировать Google Drive с Amazon
Вопросы и ответы
Вопрос или проблема Я настроил DMS CDC для изменений в MySQL, и моей целью является S3. Так что он работает нормально для вставок, обновлений, добавления/удаления столбцов, но ничего не делает для удаления строк. Вот мой дополнительный атрибут подключения: addColumnName=true;
Вопросы и ответы
Вопрос или проблема Я пишу краулер, используя библиотеку crawlee от apify и puppeteer. Этот вопрос может быть решён кем-то, кто разбирается в AWS / S3. В основном это используется для обхода внутренней документации, чтобы её можно было сделать доступной
Unix-подобные системы
Вопрос или проблема Предположим, что мы уже развернули AWS с помощью плагина cloudformation из Jenkins вне AWS, и теперь, как получить частный IP-адрес после развертывания AWS на моей локальной машине/Jenkins с использованием любых API-методов?
Системное администрирование и сети
Вопрос или проблема Существует ли способ получить IP-адрес, чтобы указать на место хранения Amazon S3? Текущее решение, о котором думает моя компания, включает настройку сервера EC2 с эластичным IP и использование Squid в качестве прокси к S3. Есть ли лучший способ?
Системное администрирование и сети
Вопрос или проблема Ищите политику для S3 bucket, которая позволит всем IAM ролям и пользователям из разных аккаунтов загружать файлы из bucket, который находится в моем аккаунте AWS. Спасибо за помощь { "Версия": "2012-10-17", "Заявление": [ { "Sid"
Системное администрирование и сети
Вопрос или проблема Это кажется глупым вопросом или тем, что я упускаю простое решение. У меня есть IAM роль, которая дает разрешение на перечисление объектов только в некоторых префиксах моего бакета. Перечисление выполняется по типу каталога, поэтому
Системное администрирование и сети
Вопрос или проблема Я видел много примеров односторонней синхронизации с ведром S3 с файловой системы Windows, но я хотел бы сделать это в обратном направлении. У меня была система, которая использовала обычную команду aws sync, но, к моему ужасу, локальные
Вопросы и ответы
Вопрос или проблема У меня есть процесс в Sagemaker для обучения и проведения инференса на данных в Sagemaker: Обработка задания: чтение входных CSV файлов из S3 и очистка данных, вывод CSV файлов в S3 Обработка задания: чтение очищенных CSV данных из
Вопросы и ответы
Вопрос или проблема Я использую upload_file из библиотеки boto3 для загрузки файлов в некоторые S3 ведра. Это работает хорошо: s3 = boto3.client('s3') s3_client.upload_file( Bucket="my_bucket", Filename="local_filename", Key="remote_filename" ) Теперь
Системное администрирование и сети
Вопрос или проблема Не удается восстановить базу данных AWS RDS, в которой есть данные, оптимизированные для памяти. У меня есть резервная копия в S3, и когда я пытаюсь выполнить восстановление в RDS: exec msdb.dbo.rds_restore_database @restore_db_name="MyDatabase"
Вопросы и ответы
Вопрос или проблема Я пытаюсь запустить задачу pyspark в кластере EMR. Код для этой задачи находится в сжатом пакете, который размещен в S3: /bin/spark-submit \ --py-files s3://my-dev/scripts/job-launchers/dev/pipeline.zip \ pipeline.
Вопросы и ответы
Вопрос или проблема Я включил поток Kinesis на своей таблице DynamoDB, который затем используется Firehose для резервного копирования данных в S3. Теперь я хочу включить его для нескольких таблиц, но мне нужна отдельная папка для каждой таблицы в моем S3 бакете.
Системное администрирование и сети
Вопрос или проблема Я работаю над проектом, в котором некоторые файлы json хранятся на S3. Мне нужно добавить какой-то механизм блокировки, чтобы несколько процессов ждали друг друга при изменении файлов. Каждый процесс выполняет что-то подобное: заблокировать s3://bucket/file.
Вопросы и ответы
Вопрос или проблема Я использую Databricks pyspark, читаю объект из s3, но это не обычный CSV. У него есть заголовки и данные посередине файла, поэтому я читаю его таким образом. df = (spark.read .format("text") .option("mode", "PERMISSIVE") .
Вопросы и ответы
Вопрос или проблема Когда я пытаюсь загрузить файлы в свой бакет S3 через консоль, бакет был создан пользователем root, но я не могу загрузить файлы и получаю ошибку “Запрос не выполнен, доступ запрещен 403!” Может кто-то помочь мне, так как
Системное администрирование и сети
Вопрос или проблема У меня возникли некоторые трудности с работой с копиями данных между учетными записями. В частности, я пытаюсь клонировать S3 бакет из одной учетной записи AWS (в eu-west-1) в другую (в eu-west-2). Я пытался настроить репликацию бакета
Вопросы и ответы
Вопрос или проблема При самостоятельном размещении ClearML, есть ли возможность настроить S3 в качестве хранилища файлов/артефактов, чтобы все артефакты и логи пользователей хранились там в структуре каталогов, управляемой ClearML?
Вебмастерам
Вопрос или проблема У меня есть корзина Amazon S3, настроенная для размещения статических файлов изображений. Я настроил перенаправление поддомена, чтобы “static.example.com” указывал на мою корзину S3. Корзина называется “