Плохая производительность сервера Nextcloud при использовании NFS

Я пытаюсь разместить свой собственный экземпляр Nextcloud с помощью Docker-образа Nextcloud. Я хочу хранить данные на NAS, который хостит NFS-распределение.

Экземпляр Nextcloud запускается, но производительность оставляет желать лучшего. Инициализация занимает 30 минут, а простой процесс входа в систему — пять минут. Файл docker-compose, который я использую:

services:
  postgresql:
    image: postgres:17-alpine
    restart: unless-stopped
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -d nextcloud -U nextcloud"]
      start_period: 20s
      interval: 30s
      retries: 5
      timeout: 5s
    networks:
      - nextcloud
    volumes:
      - postgres-data:/var/lib/postgresql/data
    environment:
      POSTGRES_USER: nextcloud
      POSTGRES_PASSWORD: ${POSTGRES_NEXTCLOUD_PW}
      POSTGRES_DB: nextcloud

  redis:
    image: redis:alpine
    restart: unless-stopped
    networks:
      - nextcloud

  app:
    image: nextcloud:apache
    restart: unless-stopped
    depends_on:
      - redis
      - postgresql
    networks:
      - nextcloud
      - proxy
    volumes:
      - nextcloud:/var/www/html
    environment:
      - POSTGRES_PASSWORD=${POSTGRES_NEXTCLOUD_PW}
      - POSTGRES_DB=nextcloud
      - POSTGRES_USER=nextcloud
      - POSTGRES_HOST=postgresql
      - REDIS_HOST=redis
      - NEXTCLOUD_TRUSTED_DOMAINS=someexampledomain.com
      - PHP_UPLOAD_LIMIT=10G
      - APACHE_BODY_LIMIT=0
    labels:
      - "traefik.enable=true"
      - "traefik.http.routers.nextcloud.rule=Host(`someexampledomain.com`)"
      - "traefik.http.routers.nextcloud.middlewares=default-headers@file,nextcloud_redirectregex"
      - "traefik.http.middlewares.nextcloud_redirectregex.redirectregex.permanent=true"
      - "traefik.http.middlewares.nextcloud_redirectregex.redirectregex.regex=https://(.*)/.well-known/(?:card|cal)dav"
      - "traefik.http.middlewares.nextcloud_redirectregex.redirectregex.replacement=https://$${1}/remote.php/dav"
      - "traefik.http.routers.nextcloud.tls=true"
      - "traefik.http.routers.nextcloud.tls.certresolver=somecertresolver"
      - "traefik.http.routers.nextcloud.service=nextcloud"
      - "traefik.http.services.nextcloud.loadbalancer.server.port=80"
      - "traefik.docker.network=proxy"

  cron:
    image: nextcloud:apache
    restart: unless-stopped
    volumes:
      - nextcloud:/var/www/html
      # NOTE: The `volumes` config of the `cron` and `app` containers must match
    networks:
      - nextcloud
    entrypoint: /cron.sh
    depends_on:
      - redis
      - postgresql

volumes:
  nextcloud:
    driver_opts:
      type: "nfs"
      o: "addr=${NFS_SHARES_HOST},nolock,soft,rw,nfsvers=4"
      device: ":${NFS_NEXTCLOUD_DATA_SHARE_PATH}"
  postgres-data:
    driver_opts:
      type: "nfs"
      o: "addr=${NFS_SHARES_HOST},nolock,soft,rw,nfsvers=4"
      device: ":${NFS_NEXTCLOUD_POSTGRES_DATA_SHARE_PATH}"

networks:
  proxy:
    external: true
  nextcloud: {}

При использовании локальных томов этой проблемы не возникает, поэтому я подозреваю, что это связано с подключением NFS.

Год назад у меня была такая же проблема в среде Kubernetes, и я переключился на использование iSCSI-распределений для повышения производительности, и это сработало, но это не вариант, так как Docker (насколько я знаю) не имеет встроенного подключаемого модуля iSCSI.

Я также размещал Nextcloud пару лет назад с похожей настройкой, но тогда я монтировал NFS-распределение через файл fstab в моей ОС и затем просто связывал смонтированную папку с контейнером Docker. Тогда у меня не было проблем с производительностью, но теперь с тем же методом кажется, что есть проблема.

Похоже, проблемы с производительностью, с которыми вы сталкиваетесь, действительно связаны с конфигурацией NFS. Вот несколько шагов и соображений, которые могут помочь диагностировать и, возможно, решить проблемы с производительностью:

1. Конфигурация NFS

Убедитесь, что ваш сервер и клиент NFS настроены оптимально. Вот некоторые ключевые моменты:

• Версия NFS: Вы используете NFSv4, что хорошо. Убедитесь, что как сервер, так и клиент настроены на использование NFSv4.
• Параметры монтирования: Опции nolock,soft,rw обычно подходят, но вы можете попробовать дополнительные опции, такие как noatime, чтобы уменьшить количество обновлений метаданных.

2. Задержка и пропускная способность сети

Производительность NFS в значительной степени зависит от условий сети:

• Задержка: Высокая задержка между хостом Docker и сервером NFS может значительно повлиять на производительность.
• Пропускная способность: Убедитесь, что пропускная способность сети достаточна. Используйте инструменты, такие как iperf, чтобы протестировать пропускную способность сети между хостом Docker и сервером NFS.

3. Конфигурация томов Docker

Ваша конфигурация томов Docker выглядит корректно, но есть несколько моментов для рассмотрения:

• Драйверы томов: Убедитесь, что драйвер томов NFS работает правильно. Возможно, стоит попробовать другой драйвер томов или метод для монтирования распределения NFS.
• Прямое монтирование: Как вы упомянули, монтирование распределения NFS непосредственно на хосте и затем связывание его с контейнером может иногда обеспечить лучшую производительность. Этот метод обходит управление томами Docker и может уменьшить накладные расходы.

4. Конфигурация Nextcloud

У самого Nextcloud есть несколько настроек, которые можно регулировать для улучшения производительности:

• Кэширование: Убедитесь, что кэширование с Redis настроено правильно. Ваша конфигурация включает Redis, что хорошо. Проверьте, что Nextcloud использует Redis для кэширования, проверив файл config.php.
• Блокировка файлов: Nextcloud использует блокировку файлов, которая может вызывать проблемы с NFS. Рассмотрите возможность использования другого механизма блокировки, например, Redis для блокировки файлов.

5. Отладка и мониторинг

Используйте инструменты мониторинга для выявления узких мест:

• Логи сервера NFS: Проверьте журналы сервера NFS на наличие ошибок или предупреждений.
• Логи Docker: Проверьте журналы контейнеров Docker на наличие ошибок или предупреждений.
• Производительность системы: Используйте инструменты, такие как top, htop, iotop и nfsstat, для мониторинга производительности системы и выявления узких мест.

Пример прямого монтирования NFS и связывание монтирования

Если вы решите попробовать смонтировать распределение NFS непосредственно на хосте, а затем связать его с контейнером, вот как это можно сделать:

1. Монтирование распределения NFS на хосте:
   Отредактируйте /etc/fstab на хосте Docker:

   ${NFS_SHARES_HOST}:${NFS_NEXTCLOUD_DATA_SHARE_PATH} /mnt/nextcloud nfs4 nolock,soft,rw,noatime 0 0
   

   Затем смонтируйте его:

   sudo mount -a
   

2. Обновление Docker Compose:
   Измените docker-compose.yml, чтобы использовать связываемое монтирование:

   volumes:
     - /mnt/nextcloud:/var/www/html
   

Пример конфигурации Redis в config.php

Убедитесь, что ваш config.php включает конфигурацию Redis:

  'memcache.local' => '\\OC\\Memcache\\Redis',
  'memcache.locking' => '\\OC\\Memcache\\Redis',
  'redis' => [
    'host' => 'redis',
    'port' => 6379,
  ],