Как загрузить контент с различных платформ, таких как YT, TT.

Я не являюсь экспертом в области кибербезопасности, но недавно начал задумываться о том, как реализовать приложение, которое сможет загружать видео с таких платформ, как TT. Давайте сосредоточимся именно на TT. Наверняка вы видели или использовали веб-сайты, которые позволяют загружать контент с платформ, таких как Reddit, YT, TT и т. д., и таких сайтов довольно много. Мой вопрос: как работают эти сервисы?

Проблема проста: given TT URL, вернуть видео, на которое он указывает. Но решение отнюдь не очевидно.

Моя первоначальная мысль заключалась в том, чтобы использовать HTTP-клиент для загрузки страницы и получения URL видео. Однако этот подход недостаточен. Современные сайты больше не являются просто статическим HTML — они загружают контент динамически и скрывают сложную логику за множеством JavaScript-файлов. В случае с TT есть много JS-файлов, и они обфусцированы, разбиты на более мелкие части и их сложно декомпилировать.

Затем я подумал о инструментах автоматизации браузера. Поскольку сегодня возможно автоматизировать браузеры, я решил использовать Playwright (на Golang). Это работает достаточно хорошо, но решение все еще далеко от идеального для бесшовной загрузки. Конечно, запуск браузера только для загрузки видео кажется довольно тяжелым, но какие есть альтернативы?

Мое главное препятствие сейчас — это обработка капчи и сохранение cookie, localStorage и других связанных данных. Процесс, который я создал, работает следующим образом: загрузите страницу TT, слушайте извлечение медиа (видео) и извлеките ссылку на видео. Однако TT часто показывает капчи, и мой текущий подход к решению этой проблемы заключается просто в повторной попытке процесса в надежде, что капча не появится. Хотя это технически работает, на загрузку одного видео может уйти до 1-2 минут, что слишком медленно для практического использования.

Даже когда я вхожу в систему, используя свои учетные данные TT, сохраняю cookie и localStorage, и повторно использую их в последующих запросах, капчи по-прежнему появляются часто. Мне кажется, что я упускаю более крупный кусок головоломки. Упомянутые мною сайты могут загружать видео за считанные секунды — как они это делают?