Вопрос или проблема
Я пытался понять, как “поймать” имя загруженного файла с помощью команд wget или curl в shell-скрипте.
Я хотел бы (и это кажется невозможным) что-то вроде этого:
newfilename=$(wget --content-disposition --trust-server-names --timestamping "${myurl}")
xattr -w user.download.url "${myurl}" "${newfilename}"
chmod 0400 "${newfilename}"
setfacl -m u:lisa:r "${newfilename}"
или с curl:
newfilename=$(curl --continue-at - --compressed --remote-name-all --remote-header-name --remote-time "${myurl}")
xattr -w user.download.url "${myurl}" "${newfilename}"
Теперь по какой-то причине, думаю из соображений безопасности, ни одна из команд, похоже, не хочет возвращать имя файла, предоставленного сервером (в случае, если оно могло бы содержать удаленное исполнение кода)? Но это кажется нелогичным для меня, когда та же команда охотно использует эту строку имени файла для создания файла на диске?
Есть ли способ сделать это, при необходимости с помощью обходного решения, которое проверяет папку назначения на наличие созданного файла с помощью наблюдения inotify?
Я хотел бы (и это кажется невозможным) что-то вроде этого:
Включите опцию --xattr для curl или wget. Это позволит автоматически сохранять URL в атрибут [user.]xdg.origin.url.
~/.wgetrc
xattr = on
Опция curl --write-out может выводить определенные поля на stdout:
curl -w "%{filename_effective}" [options...] $url
Для wget вы, по крайней мере, можете записывать лог в файл и обрабатывать результаты:
log=$(mktemp /tmp/wget.XXXXXX)
LC_ALL=C.utf-8 wget -o $log [options...] $url
file=$(sed -En 's/^Saving to: ‘(.+)’/\1/p' $log)
Ответ или решение
Вопрос о том, как "поймать" имя файла при загрузке с помощью команд wget или curl, является достаточно интересным, особенно учитывая, что команды сами по себе не предоставляют явные способы для извлечения имени файла, как было упомянуто. Однако существует несколько эффективных подходов к решению этой задачи. Давайте рассмотрим теорию, примеры и конкретное применение данных инструментов для получения имени файла.
Теория
Команды wget и curl используются для загрузки файлов с веб-серверов по протоколам HTTP, HTTPS, FTP и др. Основная проблема в получении имени файла заключается в том, что серверы не всегда явно указывают имя загружаемого файла в URL. Имя файла может передаваться в заголовках HTTP, таких как Content-Disposition, и может быть изменено в зависимости от конфигурации сервера.
-
wget: Эта утилита автоматически пытается использовать имя файла, указанное сервером, чтобы сохранить файл локально. В случае отсутствия явного имени,wgetсохранит файл под именем, полученным из URL. -
curl: По умолчаниюcurlне сохраняет файл под именем, предлагаемым сервером, но может использовать ключи, такие как--remote-nameи--remote-header-name, для получения и использования серверного имени файла.
Проблема
Основная затруднительность заключается в том, чтобы после выполнения команды извлечь имя файла для последующих операций. Это не всегда возможно без дополнительных шагов по обработке вывода или логов.
Примеры
Использование curl
Для curl, вы можете использовать параметр --write-out, чтобы извлечь имена файлов из заголовков HTTP.
newfilename=$(curl -w "%{filename_effective}" --remote-header-name --remote-name "${myurl}" -o /dev/null)
xattr -w user.download.url "${myurl}" "${newfilename}"В этом примере %{filename_effective} возвращает имя файла, которое было или будет использоваться для сохранения.
Использование wget
В wget можно создать временный лог-файл, из которого потом извлечь имя файла.
log=$(mktemp /tmp/wget.XXXXXX)
LC_ALL=C.utf-8 wget --content-disposition --trust-server-names --timestamping -o "$log" "${myurl}"
file=$(sed -En 's/^Saving to: ‘(.+)’/\1/p' "$log")
xattr -w user.download.url "${myurl}" "${file}"Тут мы анализируем лог-файл и смотрим строку, в которой wget сообщает о сохранении файла для извлечения его имени.
Применение
Теперь, понимая теоретическую базу и имея рабочие примеры, вы можете интегрировать это в свои скрипты. На практике, применение этих команд может быть полезно в автоматизации задач, связанных с обработкой файлов, загружаемых из интернета, зафиксированием метаданных или назначением определенных прав доступа.
Обдумайте, включить ли дополнительные проверки или валидацию имени файла, особенно если он используется в критических системах, где важна безопасность и защита от внедрений.
Заключение
Успешное получение имени файла при загрузке через wget или curl может значительно повысить уровень автоматизации и точность скриптов, особенно в контексте серверных сред и встроенных систем. Это знание также полезно для понимания того, как работает взаимодействие клиент-сервер на низком уровне и позволяет управлять процессами, происходящими при запросе и получении данных через сеть. Интеграция этих техник в ежедневную практику улучшит не только эффективность ваших скриптов, но и их безопасность, что крайне важно в современном IT-мире.