Новооткрытое правило обучения

Кто-нибудь знает, как этот алгоритм выполняет процесс обучения для нейронных сетей?

Я наткнулся на это решение. Оно работает, но я не знаю, как и почему.

Это нейронно-локально и работает без ошибок или обратного распространения.

void NeuralCluster::applyLearning(float learningRate){

    //Корректировать каждый нейрон случайно независимо
    vector<bool> alreadyDone;
    for(int i = 0; i < weightsActive.size(); i++)alreadyDone.push_back(false);
    for(int m = 0; m < weightsActive.size()-1; m++){

        //Выбрать случайный нейрон, который еще не был скорректирован
        int i = -1;
        bool done = false;
        while(!done){
                i = rand()%(weightsActive.size()-1);
                if(alreadyDone[i] == false){
                    alreadyDone[i] = true;
                    done = true;
                }
        }

        //Вычислить отрицательное значение входного и выходного сигнала
        float meanOutput = 0.0;
        float meanInput = 0.0;
        for(int j = 0; j < weightsActive.size()-1; j++){
            float activationI = (EnergyFlowReal[i]);
            float activationJ = (EnergyFlowReal[j]);

            meanOutput += -(lastReal[i])*(weightsActive[j][i]);
            meanInput +=  -(lastReal[j])*(weightsActive[i][j]);
        }

        //Произвести корректировку весов в соответствии с текущей активацией на них
        for(int j = 0; j < weightsActive.size()-1; j++){
            float activationI = (EnergyFlowReal[i]);
            float activationJ = (EnergyFlowReal[j]);
            weightsActive[j][i] += (activationJ)*(((meanOutput))/(weightsActive.size()))*learningRate;
            weightsActive[i][j] += (activationI)*(((meanInput))/(weightsActive.size()))*learningRate;
        }

        float activationI = (EnergyFlowReal[i]);
        weightsActive[i][weightsActive.size()-1] += activationI*(((meanInput))/(weightsActive.size()))*0.01;
    }

    //Нормализовать входные и выходные данные каждого нейрона независимо случайным образом
    for(int m = 0; m < weightsActive.size(); m++){

        //Выбрать случайный нейрон, который еще не был скорректирован
        int i = -1;
        bool done = false;
        while(!done){
                i = rand()%(weightsActive.size());
                if(alreadyDone[i] == false){
                    alreadyDone[i] = true;
                    done = true;
                }
        }

        //Вычислить абсолютные веса на входе и выходе
        float absWeightsOut = 0.0;
        float absWeightsIn = 0.0;
        for(int j = 0; j < weightsActive.size(); j++){
            float activationI = (EnergyFlowReal[i]);
            float activationJ = (EnergyFlowReal[j]);
            absWeightsOut += abs(weightsActive[j][i]);
            absWeightsIn += abs(weightsActive[i][j]);
        }

        //Нормализовать входные и выходные данные каждого нейрона так, чтобы их абсолютная сумма равнялась одному
        for(int j = 0; j < weightsActive.size(); j++){
            weightsActive[j][i] = ((weightsActive[j][i])/absWeightsOut)*weightsActive.size();
            weightsActive[i][j] = ((weightsActive[i][j])/absWeightsIn)*weightsActive.size();

            //Отключить некоторые веса, которые не нужны
            if((i >= 0)&& (j >= 0) && (i < numInputs)&& (j < weightsActive.size())){ weightsActive[i][j] = 0.0; }
        }
    }
}

Оригинальный источник обучения в applyLearning() строка 515

Я не знаю, как работает этот алгоритм, даже с комментариями, потому что многие функции связаны и используют частые циклы, и они также включают выходные значения.

Мне нужно отслеживать каждый шаг, и трудно представить, как значения меняются со временем. Было бы здорово иметь эскиз или математическую логику, стоящую за этим рассуждением.

Рекомендую тщательно отслеживать каждый шаг с помощью инструментов визуализации и тестировать алгоритм в различных сценариях, чтобы получить хорошее представление о том, что происходит.

Поскольку вы, похоже, являетесь автором: считается ли термин “УСЛОВНАЯ НЕЙРОННАЯ СЕТЬ” в README вашим изобретением? Можете ли вы добавить несколько ноутбуков Jupiter, где вы покажете, что можете обучать стандартные 1) задачи классификации 2) задачи регрессии? Также сравните с https://stackoverflow.com/a/74966322/12229416 и посмотрите, можете ли вы найти сходства.

Основываясь на вашем описании, это может быть вариант распространения разности цели https://ar5iv.labs.arxiv.org/html/1412.7525.