Теория BCM - BCM theory

Теория BCM , BCM синаптические модификации , или правило BCM , названная по имени Эли Bienenstock , Леон Куперу и Пол Манро, является физической теорией обучения в зрительной коре , разработанной в 1981 г. Модель BCM предлагает скользящий порог для долгосрочного потенцирования (LTP) или индукция долговременной депрессии (LTD) и утверждает, что синаптическая пластичность стабилизируется динамической адаптацией усредненной по времени постсинаптической активности. Согласно модели BCM, когда срабатывает пресинаптический нейрон, постсинаптические нейроны будут иметь тенденцию подвергаться LTP, если он находится в состоянии высокой активности (например, срабатывает с высокой частотой и / или имеет высокие внутренние концентрации кальция. ) или LTD, если он находится в состоянии пониженной активности (например, низкочастотное срабатывание, низкие внутренние концентрации кальция). Эта теория часто используется для объяснения того, как корковые нейроны могут подвергаться как LTP, так и LTD в зависимости от различных протоколов кондиционирующих стимулов, применяемых к пресинаптическим нейронам (обычно высокочастотная стимуляция, или HFS, для LTP, или низкочастотная стимуляция, LFS, для LTD).

Разработка

В 1949 году Дональд Хебб предложил рабочий механизм памяти и вычислительной адаптации в мозге, который теперь называется обучением Хебба , или изречением, согласно которому клетки, которые срабатывают вместе, соединяются вместе . Это представление лежит в основе современного понимания мозга как нейронной сети и, хотя и не всегда верно, остается хорошим первым приближением, подтвержденным десятилетиями доказательств.

Однако у правила Хебба есть проблемы, а именно: в нем нет механизма ослабления связей и нет верхней границы того, насколько сильными они могут стать. Другими словами, модель нестабильна как в теоретическом, так и в расчетном плане. Более поздние модификации постепенно улучшили правило Хебба, нормализовав его и допустив распад синапсов, когда никакая активность или несинхронизированная активность между нейронами приводит к потере прочности связи. Новые биологические данные довели эту активность до пика в 1970-х годах, когда теоретики формализовали различные приближения в теории, такие как использование частоты возбуждения вместо потенциала при определении возбуждения нейрона и предположение об идеальной и, что более важно, линейной синаптической интеграции. сигналов. То есть нет никакого неожиданного поведения при добавлении входных токов, чтобы определить, сработает ли ячейка.

Эти приближения привели к базовой форме BCM, приведенной ниже, в 1979 году, но последним шагом стал математический анализ для доказательства стабильности и вычислительный анализ для доказательства применимости, кульминацией которого стала статья Биненстока, Купера и Манро 1982 года.

С тех пор эксперименты показали доказательства поведения BCM как в зрительной коре, так и в гиппокампе , последний из которых играет важную роль в формировании и хранении воспоминаний. Обе эти области хорошо изучены экспериментально, но ни теория, ни эксперимент еще не установили убедительного синаптического поведения в других областях мозга. Было высказано предположение , что в мозжечке , то параллельно-волокно , чтобы клетки Пуркиньи синапс следует за «обратное правило BCM», что означает , что во время параллельной активации волокна, высокой концентрация кальция в результатах клеток Пуркиньи в LTD, в то время как нижний концентрация приводит к LTP. Более того, биологическая реализация синаптической пластичности в BCM еще не установлена.

Теория

Основное правило BCM принимает вид

${\ displaystyle \, {\ frac {dm_ {j} (t)} {dt}} = \ phi ({\ textbf {c}} (t)) d_ {j} (t) - \ epsilon m_ {j} (t),}$

куда:

• ${\ displaystyle m_ {j}}$- синаптическая масса синапса-го,${\ displaystyle j}$
• ${\ displaystyle d_ {j}}$является входным током - й синапса, в${\ displaystyle j}$
• ${\ displaystyle c (t) = {\ textbf {w}} (t) {\ textbf {d}} (t) = \ sum _ {j} w_ {j} (t) d_ {j} (t)}$ - внутреннее произведение весов и входных токов (взвешенная сумма входов),
• ${\ Displaystyle \ phi (с)}$- нелинейная функция. Эта функция должна менять знак на некотором пороге , то есть тогда и только тогда, когда . См. Подробности и свойства ниже.${\ displaystyle \ theta _ {M}}$${\ Displaystyle \ фи (с) <0}$${\ displaystyle c <\ theta _ {M}}$
• и - (часто пренебрежимо малая) постоянная времени равномерного распада всех синапсов.${\ displaystyle \ epsilon}$

Эта модель представляет собой модифицированную форму правила обучения Hebbian и требует подходящего выбора функции, чтобы избежать проблем нестабильности Hebbian. ${\ displaystyle {\ dot {m_ {j}}} = cd_ {j}}$${\ displaystyle \ phi}$

Bienenstock и др. перепишите как функцию, где - среднее значение по времени . С этой модификацией и отказом от равномерного распада правило принимает векторную форму: ${\ Displaystyle \ phi (с)}$${\ displaystyle \ phi (c, {\ bar {c}})}$${\ displaystyle {\ bar {c}}}$${\ displaystyle c}$

${\ displaystyle {\ dot {\ mathbf {m}}} (t) = \ phi (c (t), {\ bar {c}} (t)) \ mathbf {d} (t)}$

Условия устойчивого обучения строго выводятся в BCM, учитывая, что с приближением среднего результата и с его приближением достаточно, чтобы ${\ Displaystyle с (т) = {\ textbf {m}} (т) \ cdot {\ textbf {d}} (т)}$${\ displaystyle {\ bar {c}} (т) \ приблизительно {\ textbf {m}} (t) {\ bar {\ mathbf {d}}}}$

${\ displaystyle \, \ operatorname {sgn} \ phi (c, {\ bar {c}}) = \ operatorname {sgn} \ left (c- \ left ({\ frac {\ bar {c}} {c_ { 0}}} \ right) ^ {p} {\ bar {c}} \ right) ~~ {\ textrm {for}} ~ c> 0, ~ {\ textrm {and}}}$

${\ displaystyle \, \ phi (0, {\ bar {c}}) = 0 ~~ {\ textrm {for}} ~ {\ textrm {all}} ~ {\ bar {c}},}$

или, что то же самое, порог , где и являются фиксированными положительными константами. ${\ displaystyle \ theta _ {M} ({\ bar {c}}) = ({\ bar {c}} / c_ {0}) ^ {p} {\ bar {c}}}$${\ displaystyle p}$${\ displaystyle c_ {0}}$

При реализации теория часто принимается так, что

${\ displaystyle \, \ phi (c, {\ bar {c}}) = c (c- \ theta _ {M}) ~~~ {\ textrm {and}} ~~~ \ theta _ {M} = {\ bar {c}} ^ {2} = {\ frac {1} {\ tau}} \ int _ {- \ infty} ^ {t} c ^ {2} (t ^ {\ prime}) e ^ {- (tt ^ {\ prime}) / \ tau} dt ^ {\ prime},}$

где - постоянная времени селективности. ${\ Displaystyle \ тау}$

У модели есть недостатки, так как она требует как долговременной потенциации, так и долговременной депрессии или увеличения и уменьшения синаптической силы, что наблюдается не во всех корковых системах. Кроме того, он требует переменного порога активации и сильно зависит от стабильности выбранных фиксированных точек и . Однако сильная сторона модели состоит в том, что она включает все эти требования из независимо полученных правил стабильности, таких как нормализуемость и функция спада со временем, пропорциональным квадрату выходного сигнала. ${\ displaystyle c_ {0}}$${\ displaystyle p}$

Пример

Этот пример является частным случаем примера, приведенного в главе «Математические результаты» Bienenstock at al. работа, предполагая и . С этими значениями и мы решаем, что удовлетворяет условиям устойчивости, указанным в предыдущей главе. ${\ displaystyle p = 2}$${\ displaystyle c_ {0} = 1}$${\ displaystyle \ theta _ {M} = ({\ bar {c}} / c_ {0}) ^ {p} {\ bar {c}} = {\ bar {c}} ^ {3}}$${\ displaystyle \ phi (c, {\ bar {c}}) = c (c- \ theta _ {M})}$

Предположим, два пресинаптических нейрона, которые предоставляют входные данные, и его активность - повторяющийся цикл с половиной времени и остальным временем . среднее по времени будет средним значением в первой и второй половине цикла. ${\ displaystyle d_ {1}}$${\ displaystyle d_ {2}}$${\ Displaystyle \ mathbf {d} = (d_ {1}, d_ {2}) = (0,9,0,1)}$${\ Displaystyle \ mathbf {d} = (0,2,0,7)}$${\ displaystyle {\ bar {c}}}$${\ displaystyle c}$

Пусть начальное значение весов . В первой половине времени и взвешенная сумма равна 0,095, и мы используем то же значение в качестве начального среднего . Это означает , что , , . Добавляя к весам 10% производной, мы получаем новые . ${\ Displaystyle \ mathbf {m} = (0,1,0,05)}$${\ Displaystyle \ mathbf {d} = (0,9,0.1)}$${\ Displaystyle \ mathbf {m} = (0,1,0,05)}$${\ displaystyle c}$${\ displaystyle {\ bar {c}}}$${\ displaystyle \ theta _ {M} = 0,001}$${\ displaystyle \ phi = 0,009}$${\ displaystyle {\ dot {m}} = (0,008,0,001)}$${\ displaystyle \ mathbf {m} = (0.101,0.051)}$

В следующей половине времени вводятся и веса . Это означает , полный цикл 0,075, , , . Добавляя к весам 10% производной, мы получаем новые . ${\ Displaystyle \ mathbf {d} = (0,2,0,7)}$${\ displaystyle \ mathbf {m} = (0.101,0.051)}$${\ displaystyle c = 0,055}$${\ displaystyle {\ bar {c}}}$${\ displaystyle \ theta _ {M} = 0,000}$${\ displaystyle \ phi = 0,003}$${\ displaystyle {\ dot {m}} = (0,001,0,002)}$${\ displaystyle \ mathbf {m} = (0,110,0.055)}$

Повторение предыдущего цикла мы получим после нескольких сотен итераций, что стабильность достигается с , (первая половина) и (остаточного времени), , , и . ${\ displaystyle \ mathbf {m} = (3,246, -0,927)}$${\ displaystyle c = {\ sqrt {8}} = 2,828}$${\ displaystyle c = 0,000}$${\ displaystyle {\ bar {c}} = {\ sqrt {8}} / 2 = 1,414}$${\ displaystyle \ theta _ {M} = {\ sqrt {8}} = 2,828}$${\ displaystyle \ phi = 0,000}$${\ displaystyle {\ dot {m}} = (0,000,0,000)}$

Обратите внимание, как, как и предсказывалось, окончательный вектор весовых коэффициентов стал ортогональным одному из входных шаблонов, являясь конечными значениями нулей функции в обоих интервалах . ${\ displaystyle m}$${\ displaystyle c}$${\ displaystyle \ phi}$

Эксперимент

Первое крупное экспериментальное подтверждение BCM было получено в 1992 году при исследовании LTP и LTD в гиппокампе . Данные показали качественное согласие с окончательной формой функции активации BCM. Позже этот эксперимент был воспроизведен в зрительной коре головного мозга , для моделирования которой изначально был разработан BCM. Эта работа предоставила дополнительные доказательства необходимости переменной пороговой функции для стабильности в обучении хеббийского типа (BCM или другие).

Экспериментальные данные были неспецифичными для BCM, пока Rittenhouse et al. подтвердил предсказание BCM о модификации синапсов в зрительной коре, когда один глаз выборочно закрывается. Конкретно,

${\ displaystyle \ log \ left ({\ frac {m _ {\ rm {closed}} (t)} {m _ {\ rm {closed}} (0)}} \ right) \ sim - {\ overline {n ^ {2}}} т,}$

где описывает изменение спонтанной активности или шума при закрытом глазу и время с момента закрытия. Эксперимент согласился с общей формой этого прогноза и предоставил объяснение динамики закрытия монокулярного глаза ( монокулярная депривация ) по сравнению с закрытием бинокулярного глаза. Экспериментальные результаты далеки от окончательных, но пока что BCM отдается предпочтению конкурирующим теориям пластичности. ${\ Displaystyle {\ overline {п ^ {2}}}}$${\ displaystyle t}$

Приложения

Хотя алгоритм BCM слишком сложен для крупномасштабной параллельной распределенной обработки , он с некоторым успехом применяется в боковых сетях. Кроме того, некоторые существующие алгоритмы обучения вычислительной сети были сделаны так, чтобы соответствовать обучению BCM.

использованная литература

внешние ссылки

• Статья в Scholarpedia