Вопрос или проблема
Я хотел бы рассчитать необходимое оборудование для кластера Ceph. Существует так мало ссылок на размеры, что я пытаюсь получить эти детали здесь, в сообществе.
Например, что мне нужно в зависимости от
- объёмных дисков (7.2k, 10k, 15k)
- SATA и SAS 6G SSD
- SAS 12G SSD
- NVMe PCIe v3
- NVMe PCIe v4
Теперь вопросы следующие
- сколько ЦПUs мне нужно?
- сколько ядер должно быть доступно?
- сколько OSD планируется на каждый тип диска?
- сколько ОЗУ на OSD следует планировать?
Цель: добиться наилучшей производительности узла с данными дисками. Это означает IOPS и пропускную способность
Общий вопрос о дисках касается ограничивающих контроллеров.
Сколько дисков на контроллер следует подключить, чтобы получить наилучшую производительность на узел?
Существует ли рекомендация по аппаратным контроллерам для Ceph?
Может быть, есть какой-то калькулятор для расчета размеров?
Я не могу сейчас найти ссылку как источник. Но это то, что я использовал в своем кластере (10 серверов OSD, 500 ТБ)
- ЦП: 1 ядро на OSD (жесткий диск). Чистота, как можно выше.
- ОЗУ: 1 Гб на 1 ТБ хранилища OSD.
- 1 OSD на жесткий диск.
- Мониторы не требуют много памяти и ЦП.
- Лучше запускать мониторы отдельно от сервера OSD, если на сервере много OSD, но это не обязательно.
- Если вы планируете запускать много OSD (более 2) на сервер, лучше не использовать эти серверы для хостинга виртуальных машин. OSD требуют довольно много памяти и вычислительной мощности.
Ответ или решение
Для расчета аппаратного обеспечения для кластера Ceph важно учесть множество факторов, чтобы оптимизировать производительность, включая IOPS и пропускную способность. В данном ответе я постараюсь охватить все важные моменты, связанные с оборудованием.
Общие рекомендации по размеру оборудования для Ceph-кластера:
1. Процессоры и ядра:
- Количество процессоров: Рекомендуется использовать 1-2 процессора на сервер. Если у вас много OSD (объектных хранилищ данных), возможно, потребуется больше ЦП для обработки запросов.
- Количество ядер: В идеале, выделяйте 1 ядро на каждый OSD для жестких дисков. Однако, для SSD и NVMe можно предоставить больше ядер, поскольку они требуют высокопроизводительных вычислительных ресурсов.
2. Оперативная память:
- RAM на OSD: Рекомендуется выделять 1 ГБ оперативной памяти на 1 ТБ данных для OSD на жестких дисках. Для SSD и NVMe можно увеличить это значение до 2–3 ГБ на 1 ТБ, в зависимости от ожидаемой нагрузки.
3. OSD по типам дисков:
-
Жесткие диски (HDD):
- Для HDD с 7.2k: 1 OSD на диск.
- Для 10k и 15k дисков также рекомендуется 1 OSD на диск, так как они обеспечивают высокую производительность.
-
SSD SATA/SAS и NVMe:
- Для SATA/SAS SSD: 1 OSD на диск.
- Для SAS 12G SSD: 1 OSD на диск.
- Для NVMe PCIe v3 и v4: также рекомендуется 1 OSD на диск, но здесь можно рассмотреть возможность использования агрегации контента за счет многопоточных операций.
4. Контроллеры и подключение дисков:
-
Количество дисков на контроллер: Оптимальное количество жестких дисков на контроллер варьируется. Обычно рекомендуется подключать не более 8-12 HDD/SSD на один контроллер для достижения наилучшей производительности. Однако, это зависит от производителя контроллера и его характеристик.
-
Рекомендации по контроллерам: Для Ceph лучше использовать контроллеры, которые поддерживают прямое управление дисками, такие как LSI/Avago или Broadcom, так как они обеспечивают высокий уровень производительности и стабильности.
5. Рекомендации по архитектуре кластера:
-
Мониторы (MON): Мониторы не требуют большого количества памяти и ЦП. Рекомендуется размещать их на отдельных серверах (особенно если у вас много OSD), чтобы избежать конкуренции за ресурсы.
-
Избегайте виртуализации: Если вы планируете использовать много OSD на одном сервере, лучше не использовать этот сервер для хостинга виртуальных машин, так как OSD требуют большого объема памяти и вычислительных ресурсов.
Заключение
Построение оптимального кластера Ceph требует тщательного планирования и мониторинга всех ресурсов. Надеюсь, приведенные рекомендации помогут вам в расчетах по размерам оборудования для вашего Ceph-кластера. В зависимости от ваших конкретных требований к производительности может потребоваться дополнительная настройка параметров.