Изучение векторного квантования - Learning vector quantization

В информатике , изучение векторного квантования ( LVQ ), является прототипом на основе контролируемой классификации алгоритм . LVQ - это контролируемый аналог систем векторного квантования .

Обзор

LVQ можно рассматривать как частный случай искусственной нейронной сети , точнее говоря, он применяет подход, основанный на изучении Hebbian по принципу « победитель получает все» . Он является предшественником самоорганизующихся карт (SOM) и связан с нейронным газом , а также с алгоритмом k-ближайшего соседа (k-NN). LVQ был изобретен Теуво Кохоненом .

Система LVQ представлена ​​прототипами, которые определены в пространстве признаков наблюдаемых данных. В алгоритмах обучения по принципу «победитель получает все» для каждой точки данных определяется прототип, ближайший к входу в соответствии с заданной мерой расстояния. Положение этого так называемого прототипа победителя затем адаптируется, т.е. победитель перемещается ближе, если он правильно классифицирует точку данных, или удаляется, если он классифицирует точку данных неправильно.

Преимущество LVQ заключается в том, что он создает прототипы, которые легко интерпретировать специалистам в соответствующей области приложения. Системы LVQ могут быть применены к задачам многоклассовой классификации естественным образом. Он используется во множестве практических приложений. См. «Библиографию по самоорганизующейся карте (SOM) и обучающему векторному квантованию (LVQ) ».

Ключевым вопросом в LVQ является выбор подходящей меры расстояния или сходства для обучения и классификации. Недавно были разработаны методы, которые адаптируют параметризованную меру расстояния в процессе обучения системы, см., Например, (Schneider, Biehl, and Hammer, 2009) и ссылки в них.

LVQ может стать большим подспорьем при классификации текстовых документов.

Алгоритм

Ниже следует неофициальное описание.
Алгоритм состоит из трех основных шагов. Входные данные алгоритма:

  • сколько нейронов будет в системе (в простейшем случае равно количеству классов)
  • какой вес каждый нейрон имеет для
  • соответствующая метка для каждого нейрона
  • как быстро нейроны обучаются
  • и входной список, содержащий все векторы, метки которых уже известны (обучающий набор).

Схема алгоритма:

  1. Для следующего ввода (с меткой ) найдите ближайший нейрон , т. Е. Где используется метрика ( евклидова и т. Д.).
  2. Обновить . Лучшее объяснение - приблизиться к входу , если и принадлежат одному ярлыку, и разделить их дальше, если они этого не делают. если (ближе друг к другу) или если (дальше друг от друга).

  3. Пока остаются векторы, перейдите к шагу 1, иначе завершите.

Примечание: и - векторы в пространстве признаков. Более формальное описание можно найти здесь: http://jsalatas.ictpro.gr/implementation-of-competitive-learning-networks-for-weka/

Рекомендации

  1. ^ Т. Кохонен. Самоорганизующиеся карты. Спрингер, Берлин, 1997.
  2. ^ Т. Кохонен (1995), "Изучение векторного квантования", в М.А. Арбибе (ред.), Справочник по теории мозга и нейронных сетей , Кембридж, Массачусетс: MIT Press, стр. 537–540
  3. ^ П. Шнайдер, Б. Хаммер, М. Biehl (2009). «Адаптивные матрицы релевантности в обучающем векторном квантовании». Нейронные вычисления . 21 (10): 3532–3561. CiteSeerX   10.1.1.216.1183 . DOI : 10.1162 / neco.2009.10-08-892 . PMID   19635012 . S2CID   17306078 . CS1 maint: использует параметр авторов ( ссылка )

дальнейшее чтение

внешние ссылки

  • LVQ для WEKA : реализация вариантов LVQ (LVQ1, OLVQ1, LVQ2.1, LVQ3, OLVQ3) для WEKA Machine Learning Workbench.
  • Официальный релиз lvq_pak (1996) Кохоненом и его командой
  • LVQ для WEKA : еще одна реализация LVQ на Java для WEKA Machine Learning Workbench.
  • Набор инструментов GMLVQ : простая в использовании реализация Generalized Matrix LVQ (матричное обучение релевантности) в (c) Matlab