Вопрос или проблема
Я хочу построить сервис, аналогичный ngrok, и пытаюсь понять архитектуру управления поддоменами ngrok для их туннелирования. Насколько я могу судить, ngrok предоставляет уникальные поддомены (например, abcde.ngrok.io) для каждого туннеля, но я озадачен тем, как они управляют этим в масштабах.
В частности:
-
У каждого туннеля есть отдельный IP-адрес? Если да, то как ngrok имеет такое огромное количество IP? Как они динамически добавляют новые записи DNS для своих IP?
-
Если разные поддомены управляются одним и тем же IP-адресом, как ngrok понимает, что я подключился к a.ngrok.io, а не к b.ngrok.io, если оба имеют один и тот же IP-адрес? Я знаю, что существуют такие технологии, как SNI, но как это работает, если я создаю TCP туннель без TLS-шифрования?
И главный вопрос: возможно ли реализовать аналогичную систему для проекта меньшего масштаба? Какие будут ключевые компоненты?
Любые идеи о потенциальной архитектуре или лучших практиках для реализации такой системы будут очень ценны! Спасибо!
Ответ или решение
ngrok — это облачный сервис, который предоставляет возможность создания безопасных туннелей для локальных приложений, а также управляет поддоменами эффективно при масштабной архитектуре. Чтобы ответить на ваши вопросы, я подробно объясню, как ngrok управляет множеством поддоменов без создания индивидуальных DNS-записей, а также рассмотрю технологии и архитектуру, которые могут быть использованы для создания подобного сервиса.
1. Управление IP-адресами и DNS-записями
Поддомены и IP-адреса
Ngrok не выделяет отдельные IP-адреса для каждого туннеля. Вместо этого, все туннели обычно связываются с ограниченным числом общих IP-адресов. Благодаря этому подходу, ngrok может динамически управлять большим числом поддоменов, используя одну запись DNS для маршрутизации трафика.
Когда пользователь запускает туннель, он получает уникальный поддомен (например, abcde.ngrok.io). На уровне DNS все запросы к этому поддомену направляются на один и тот же IP-адрес, который обслуживает базовые инстансы ngrok.
Динамическое добавление DNS-записей
Ngrok использует динамическую маршрутизацию, внедряя технологии, которые позволяют направлять трафик к нужному туннелю на основании имени поддомена. DNS-записи для поддомена abcde.ngrok.io не нужно создавать каждый раз — они уже настроены для общего IP-адреса. Таким образом, когда DNS-запрос поступает, сервер ngrok использует логику маршрутизации для определения, на какой внутренний сервис или туннель направить запрос.
2. Распознавание поддоменов
Обработка однотипных IP-адресов
Когда пользователи подключаются к разным поддоменам, например a.ngrok.io и b.ngrok.io, ngrok использует несколько уровней маршрутизации. Хотя всё идет через один IP-адрес, сервер обрабатывает входящие запросы по имени хоста.
Для HTTP(S) соединений используется механизм, называемый SNI (Server Name Indication), который позволяет серверу определять, к какому точно сертификату/сервису он должен обратиться на основании имени хоста в TLS-запросе.
Однако в случае TCP соединений без TLS используется другой, более простой подход. Сервера ngrok могут прослушивать все подключения на одном IP и затем, основываясь на ID туннеля, определять, какая из внутренних инстанций должна обработать запрос.
3. Реализация аналогичной системы на меньшем масштабе
Для вашего проекта, вот несколько ключевых компонентов, необходимых для создания подобной системы:
-
Серверное окружение: Используйте мощный сервер или кластер серверов, способных эффективно обрабатывать множественные соединения.
-
Механизм маршрутизации: Разработайте систему маршрутизации, которая сможет направлять входящие запросы на нужный локальный сервис на основе имени хоста. Это может быть реализовано с помощью reverse proxy (например, Nginx или HAProxy).
-
DNS: Используйте wildcard DNS-запись, которая указывает на один и тот же IP-адрес для всех поддоменов, например,
*.your-domain.com. -
База данных соединений: Чтобы отслеживать запущенные туннели и их соответствия, создайте базу данных, в которой вы сможете сохранять информацию о каждом активном туннеле.
-
Система аутентификации и управления: Вы должны внедрить средства аутентификации, чтобы управлять доступом к сервисам, обеспечивая безопасность и контроль.
Заключение
Создание сервиса, аналогичного ngrok, требует хорошего понимания сетевых технологий, включая маршрутизацию, работу с DNS и управление соединениями. Несмотря на сложность, следуя предложенной схеме и принимая во внимание возможности масштабирования, вы сможете разработать эффективную модель для своего проекта.