Проблемы с обучением GNN для задачи бинарной классификации узлов

Я использую GNN для решения задачи, в которой у меня есть целевой запрос и неориентированный граф. Моя цель – создать подмножество узлов в графе (через покомпонентное бинарное предсказание), чьи признаки суммируются до целевого запроса. Я думал, что обучение этому было бы относительно простым, но у меня возникло много трудностей.

Чтобы упростить задачу до самого основного, в настоящее время у меня есть модель, состоящая из 2 слоев GATConv (размер скрытого слоя от 16 до 1-мерного выхода) из pytorch geometric, разделённых ReLU активацией. Я не использую веса ребер, и узлы имеют только два признака – интересуемый признак и целевой запрос (так что этот второй целевой признак идентичен для всех узлов в графе). Я полагал, что такая настройка будет самым простым способом ввести запрос, но, возможно, это вызывает проблемы. Я также задаюсь вопросом, может ли отсутствие признаков тоже быть проблемой – возможно, недостаточно информации, чтобы значимо различать узлы, хотя я не уверен, почему это мешало бы простой цели.

Наконец, я использую BCEWithLogitsLoss, поскольку целевой подграф также является бинарной маской, а также Adam оптимизатор. Я знаю, что эта функция потерь не идеальна для моей реальной цели, и у меня есть своя собственная функция потерь, готовая к использованию, но чтобы минимизировать потенциальные источники ошибок, я вернулся к использованию CE потерь.

У меня в распоряжении очень большой датасет, но для диагностики проблем я работал с 10 или даже 1 графом, который был зеркально отражён, чтобы модель переобучилась. При построении графиков изменения логитов для этой ситуации с 1 графом я замечаю, что значения движутся согласованно в зеркальном виде, независимо от того, обучаю ли я 10 эпох или 100, что имеет смысл, учитывая, как работает передача сообщений, и, как я считаю, исключает возможность гомогенизации представлений узлов. Падение потерь также последовательно, но, похоже, сигнал недостаточно силен, чтобы выявить что-то кроме всех 0, возможно, потому что маски целевых узлов разрежены.

Любая помощь или советы по дальнейшим действиям? Я в первую очередь надеюсь выяснить, не имею ли я фундаментального недопонимания чего-то о GNN, из-за чего моя настройка всегда будет терпеть неудачу, или есть другие предлагаемые следующие шаги для вещей, которые можно попробовать. Отмечу, что я пробовал типичные предложения – изменение скорости обучения, разные функции потерь (пробовал Focal Loss), более глубокие/широкие архитектуры, слои GCNConv, готовую модель GCN в pytorch-geometric, упрощение датасета.

Кажется, вы пробовали множество разных подходов и хорошо понимаете проблему, которую пытаетесь решить. Одним из выделяющихся моментов для меня является отсутствие характеристик узлов, помимо интересующего признака и целевого запроса. Вы упомянули, что не считаете, что это должно мешать простой цели, но возможно, что большее количество характеристик могло бы помочь модели лучше различать узлы и делать более значимые предсказания.

Хотя вы уже пробовали разные функции потерь, стоит попробовать функцию потерь, которая больше подходит для вашей цели получения подмножества узлов, чьи характеристики суммируются до целевого запроса. Одной из таких функций потерь может быть модифицированная версия бинарной кросс-энтропии, которая штрафует модель за создание узлов, характеристики которых не суммируются до целевого запроса, а не просто за неверные бинарные предсказания.

Вы также можете попробовать экспериментировать с разными гиперпараметрами, такими как количество слоев, размер скрытого слоя и функции активации. Возможно, более глубокая или широкая архитектура могла бы помочь модели изучить более сложные связи между узлами и более точно предсказывать целевой подграф.

Наконец, с вашим большим датасетом, вы могли бы попробовать использовать подмножество данных для обучения и другое подмножество для валидации, чтобы убедиться, что модель не просто переобучается на небольшой набор графов. Возможно, разреженность масок целевых узлов затрудняет обучение модели, поэтому стоит попробовать создать синтетические маски с большей плотностью, чтобы увидеть, улучшит ли это производительность.