Вопрос или проблема
Мне нужно передать довольно большие файлы, которые находятся на Box.net, на мой виртуальный сервер и обратно. Я думал, что это будет легко, но когда я осуществляю передачу (через API Box.net), я постоянно получаю предупреждения от автоматического мониторинга GCP, что мой аккаунт может нарушать условия обслуживания GCP и потенциально осуществлять атаку с отказом в обслуживании. Я просто передаю файлы.
Я каждый раз отвечал на это с апелляцией, но иногда поддержка GCP не отвечает и просто завершает работу виртуального сервера. Это всегда происходит, когда я передаю файлы (что мне нужно делать). Я вижу в документации, что я могу использовать Google Drive как альтернативу. Другой вариант, похоже, это ограничить скорость моего интерфейса. Кто-нибудь знает разумную скорость, чтобы не вызывать срабатывание инструмента анализа? 10 Мбит кажется довольно медленным, но мне действительно надоело пытаться доказать, что это не атака с отказом в обслуживании.
sudo tc qdisc change dev ens5 root tbf rate 10mbit burst 32kbit latency 400ms
Есть ли какой-то другой способ сообщить GCP, что я собираюсь осуществить передачу, чтобы было ясно, что я это делаю и это не зловредно? Это довольно раздражает.
Ответ или решение
Вопрос о передаче файлов между Box.net и виртуальной машиной (VM) на Google Cloud Platform (GCP) фиксируется, когда пользователи сталкиваются с предупреждениями о потенциальной атаке типа "отказ в обслуживании" (Denial of Service, DoS). Ниже представлены анализ проблемы и рекомендации по ее разрешению.
Анализ проблемы
Когда вы используете API Box.net для передачи больших файлов на VM, GCP может ошибочно идентифицировать это поведение как потенциальную угрозу. Автоматические системы мониторинга GCP designed to protect against denial of service attacks могут распознать интенсивные сетевые операции как подозрительные, особенно если трафик превышает определенные пороги или если серверы GCP воспринимают этот трафик как аномальный.
Способы решения проблем
-
Ограничение скорости (Rate Limiting):
Вы уже упомянули о возможности ограничения скорости передачи данных. Это действительно хороший подход. Использование командыtcдля ограничения сети является разумным шагом.Пример команды, которую вы используете:
sudo tc qdisc change dev ens5 root tbf rate 10mbit burst 32kbit latency 400ms- Рекомендация по скорости: Если 10 Mbit/s выглядит медленно, можно попробовать увеличить скорость до 20 Mbit/s или 25 Mbit/s, но важно следить за стабильностью соединения и по возможности избегать пиковых нагрузок.
- Оцените использование 5-10 соединений одновременно; это может помочь в снижении нагрузки, но не перегружайте API Box.net.
-
Использование Google Drive:
Если возможно, рассмотреть переход на Google Drive в качестве промежуточного облачного хранения. Он часто лучше интегрирован с GCP и может уменьшить вероятность срабатывания тревог. Это также позволяет использовать более оптимизированные API вызовы от GCP, возможно, с меньшими ограничениями. -
Мониторинг и уведомления:
Убедитесь, что у вас есть механизм для отслеживания использования API и выставления запросов. Это может помочь заранее предотвратить отключение VM. Например, увеличение логгирования при передаче данных создаст дополнительные записи, которые могут быть полезны при обращении в поддержку GCP для предотвращения недоразумений. -
Контакт с поддержкой GCP:
Подавать запросы в службу поддержки с разъяснениями о характере вашей нагрузки и об отсутствии злонамеренных целей. Создайте четкое и профессиональное объяснение, в котором вы опишите, что отраслевая практика подразумевает такие операции и что они не нарушают условия обслуживания GCP. -
Расширение виртуальной машины:
Если возможно, рассмотрите вопрос о повышении мощностей вашей VM (например, увеличение объема ОЗУ или процессорной мощности), так как это иногда может помочь в лучшем управлении ресурсами и уменьшении вероятности отключений.
Заключение
Передача данных между Box.net и вашей VM на GCP — это задача, которая требует учет множества факторов. Следуя вышеуказанным рекомендациям и комбинируя их, вы сможете минимизировать риск возникновения проблем с отключением вашего сервера и повысить эффективность передачи файлов. Mониторинг и контроль сетевых потоков — это ключевые аспекты в предотвращении недоразумений с GCP.