Как создать RPM-зеркало по запросу

Я бы хотел создать RPM репозиторий для пакетов Fedora в моей локальной сети. Из-за ограничений по объему хранилища я хочу, чтобы репозиторий изначально был пустым и загружал пакеты только после их обращения.

Предпосылки

Я много работаю с локальными виртуальными машинами. Каждый раз, когда я создаю новую виртуальную машину и устанавливаю Fedora, множество пакетов загружаются из интернета, и большинство загруженных пакетов одни и те же. Чтобы ускорить процесс, я хочу, чтобы RPM кэшировались на сервере, расположенном в той же сети.

На похожие вопросы отвечали с использованием комбинации createrepo и reposync. Мне не нравится часть с reposync, потому что я не хочу клонировать весь репозиторий заранее, когда мне нужно только некоторые из пакетов.

Идеальное решение

Я бы хотел, чтобы сервер в моей локальной сети выступал в роли RPM репозитория для моих установок Fedora. Он должен пропускать метаданные от того, что настроено в /etc/yum.repo.d/*. Сервер должен выдавать запрашиваемый RPM, если он есть в локальном кэше, или же загружать его и затем выдавать.

Менее амбициозный подход заключался бы в настройке единственного RPM репозитория вместо https://mirrors.fedoraproject.org/... и просто использовании http proxy.

Обновление: 2 ноября 2015

У меня уже есть работающий nginx в сети, поэтому я пробовал комбинацию proxy_pass и proxy_cache. Вроде работает, но, на мой взгляд, у него больше минусов, чем плюсов:

• отдельная конфигурация для каждого репозитория, настроенного в /etc/yum.repo.d/*.
• нельзя использовать metadata с https://mirrors.fedoraproject.org/ из-за альтернативных зеркал.

Я отказался от nginx варианта и установил squid, как было предложено в комментариях. squid отлично работает для меня. С помощью конфигурации store_id_program я могу использовать альтернативные зеркала и все равно попадать в кэш, независимо от того, откуда изначально пришел RPM.

Здесь вы можете найти настроенный squid.conf для кэширования rpm:

https://github.com/spacewalkproject/spacewalk/blob/master/proxy/installer/squid.conf

Вам нужно только изменить память и настройки порта.

Я не уверен, нашли ли вы хорошее решение для этого, но я написал небольшую программу на Go. Она работает как кэширующий прокси и сохраняет вокруг RPM, но проксирует вверх до файлов базы данных, так что всегда корректно. Сейчас она настроена для CentOS, Fedora EPEL и Arch Linux.

Вы можете увидеть ее https://github.com/yobert/remirror

apt-cacher-ng отлично работает. Мы используем его уже некоторое время, и он работает хорошо. И помните, что нужно использовать только http зеркала (а не https), чтобы сделать его более эффективным (естественно, он не может видеть и кэшировать https трафик):

Чтобы настроить официальные репозитории fedora на использование только http зеркал, можно добавить &protocol=http в конец URL конфигурации metalink, например, для репозитория fedora это станет:

metalink=https://mirrors.fedoraproject.org/metalink?repo=fedora-$releasever&arch=$basearch&protocol=http

https://www.unix-ag.uni-kl.de/~bloch/acng/

Кэширующий прокси. Специализирован для файлов пакетов от дистрибьюторов Linux, в основном для Debian (и основанных на Debian), но не ограничен ими. См. документацию Apt-Cacher, чтобы узнать, для чего он полезен.

На wiki Yum содержится страница с обзором решений для кэширования

Некоторые из них по теме:

• Установите “IntelligentMirror“, и зарегистрируйтесь с MirrorManager.

  Плюсы
      Нулевая конфигурация на клиентской стороне.
      После настройки в основном все работает и все должно быть немедленно.
      Загружает только то, что требуется пользователям.
      Полностью автоматизированная серверная сторона, после настройки/работы. 
  Минусы
      Требует настройки локального Squid + Apache-httpd + IntelligentMirror для обслуживания данных.
      Если сервер не работает, metalinks/MM направит вас на внешнее зеркало.
      Интеллектуально кэширует только пакеты, а не метаданные. 
  

• (бета) avahi-packages-server.py и поддержка yum avahi (см.: http://james.fedorapeople.org/yum/avahi)

  Плюсы
      Клиент без конфигурации.
      Сервер без конфигурации.
      Загружает только то, что требуется пользователям. 
  Минусы
      Пока не доступно в основной ветке (все еще в бета-версии).
      Клиент, который не запускает серверную часть avahi, не делится своими загрузками (поэтому всем клиентам нужно запускать "сервер").
      Требует работающего avahi в сети. 
  

Я написал скрипт, который запускается через cron. Он перемещает файлы rpm из /var/cache/dnf на общий путь (например, NFS-поделиться или другая общая файловая система). После этого он заменяет оригинальный файл rpm на символическую ссылку на файл rpm в общем пути.

Скрипт и некоторая документация размещены в моем блоге.

Полное раскрытие: это мой блог/вебсайт, и я написал скрипт. Не стесняйтесь использовать его.