Вопрос или проблема
Я считаю, что нейронный код/нейронное кодирование (как нейроны или смещения кодируют символические концепции цепей концептов, т.е. каждая функция является цепью символических функций и их параметров) является ключом к пониманию нейронных сетей и, следовательно, путем к выбору оптимальной архитектуры (и ее параметров – формы, ширины, длины) для задачи. Нейронный код также может использоваться непосредственно в процессе дистилляции знаний из нейронной сети и для дообучения и улучшения этого процесса дистилляции. Нейронный код также может использоваться для инъекции смещений (например, предсуществующие знания, знания экспертов, этические ограничения) путем изменения весов/смещений в предвычисленном порядке, а не путем генерации большого корпуса обучающих данных и последующего обучения модели.
Я считаю, что нейронный код является ключевым вопросом теории искусственных нейронных сетей.
Вот почему удивительно, что в этой области почти нет исследований. В нейробиологии, конечно, есть большая литература, есть некоторые работы по кодированию в искусственных нейронных сетях с всплесками. И есть этот хороший препринт, который можно рассматривать как попытку определить всю категорию нейронных кодов (с точки зрения категорийной теории – они стремятся рассмотреть все universo и затем провести некоторую классификацию или найти отдельные/оптимальные объекты – т.е. оптимальные коды в данном случае). Но этот препринт также не рассматривает этот вопрос кодирования явно.
Итак, мой вопрос: почему так мало исследований (почти нет) по нейронному коду/кодированию искусственных нейронных сетей? И в добавление – существуют ли другие подходы, которые затрагивают вопросы, которые я упомянул в начале моего вопроса и на которые нейронное кодирование, по моему мнению, было ответом (или большой частью этого) – и, следовательно, могут объяснить нехватку исследований по нейронному кодированию?
Я не уверен, что на этот вопрос может быть объективный ответ.
Будьте осторожны, факт, что их называют “нейронными сетями” в машинном обучении, является лишь аналогией: искусственные нейронные сети не являются тем же самым, что и биологические нейронные сети. Легко представить, что можно напрямую применить то, что мы знаем о биологических нейронах, к нейронам машинного обучения, но нет доказательств, что так это и работает. Для сравнения, это похоже на то, как если бы кто-то пытался изучить, как работают деревья в природе, чтобы улучшить решающие деревья.
В общем, существует множество очевидно интуитивных идей о том, как следовать за природой, чтобы улучшить технологии, которые в прошлом были опровергнуты. Также все еще остается много того, что мы не знаем о том, как работает мозг, насколько я знаю. Наконец, есть ключевая причина, почему искусственные нейронные сети не могут работать как мозг: у них нет никакого способа воспринимать мир, они могут только имитировать обучающие данные.
Ответ или решение
Исследование нейронного кода в контексте искусственных нейронных сетей (ИНС) — это действительно интересная и важная тема, однако разнообразные факторы могут объяснить, почему исследований в этой области так мало.
-
Разница между биологическими и искусственными нейронными сетями: Искусственные нейронные сети во многом являются абстракцией, используемой для моделирования определённых аспектов функционирования биологических нейронов. Многие аспекты работы мозга остаются неясными, и из-за этого может возникать неверная интерпретация, когда исследователи пытаются применить понятия нейронного кода, основанные на биологии, к ИНС. Это может приводить к выводу о том, что подобные исследования не всегда имеют прямое применение.
-
Сложность нейронного кода: Определение и понимание нейронного кода требует масштабных междисциплинарных знаний и подходов, включая математику, нейробиологию и алгоритмы машинного обучения. Это делает исследование этой проблематики крайне сложным и трудоемким, что может отталкивать исследователей, не имеющих соответствующей подготовки.
-
Текущие парадигмы в машинном обучении: На данный момент многие исследователи сосредоточены на улучшении производительности моделей ИНС с использованием существующих методик, таких как оптимизация гиперпараметров, архитектурные инновации и методы обучения с подкреплением. Эти подходы уже продемонстрировали свою эффективность, и существуют альтернативные перспективы, которые обеспечивают цели, схожие с теми, что можно было бы достичь через нейронный код.
-
Развитие доверия к данным: В контексте машинного обучения и ИНС часто предполагается, что для достижения хороших результатов необходимы большие объемы данных. Таким образом, исследователи могут предпочитать подходы, которые сосредотачиваются на сборе и обработке данных, а не на теоретическом понимании кодирования знаний.
Что касается альтернатив к подходу нейронного кода, то можно выделить несколько направлений:
-
Методы интерпретации моделей: Techniques like LIME (Local Interpretable Model-Agnostic Explanations) and SHAP (SHapley Additive exPlanations) aim to explain the model’s predictions by attributing them to input features, which indirectly address some concerns of knowledge representation in networks.
-
Глубокое обучение с пояснениями (Explainable AI, XAI): Исследования в области XAI сосредоточены на разработке более объяснимых моделей с предсказуемым поведением, что потенциально может ответить на вопросы о том, как знания закодированы в ИНС.
-
Трансферное обучение и предобученные модели: Вместо того чтобы разрабатывать новые архитектуры и порядки, исследователи все чаще рассматривают возможность использования предобученных моделей и их адаптации к новым задачам, что может служить аналогом "встраивания" экспертов и реальных знаний в нейронные сети.
В заключение, несмотря на большую значимость понятия нейронного кода и его потенциальные применения в оптимизации нейронных сетей, существующие сложности и предпочтения в области текущих исследований затрудняют активное развитие данной темы. Тем не менее, разнообразные альтернативные подходы выгладят многообещающими в разрешении связанных вопросов.