Иллюстрация уменьшения размерности, выполненного моделью классификации или регрессии.

Кратко: Вы можете предсказать что-то, но как объяснить предсказание?

Редактирование: Я создал веб-сайт, который пытается ответить на этот вопрос с помощью внедрения / визуальной кластеризации данных в соответствии с путями, которые принимают экземпляры в дереве решений: http://explicable.ai/. Пожалуйста, напишите мне на электронную почту, если это вам интересно!

Ваш обычный настройка классификации/регрессии

Предположим, что данные представляют собой классическую задачу регрессии/классификации: несколько числовых колонок, несколько номинальных колонок и событие, которое мы пытаемся предсказать:

user1, age:18, wealth:20000, likes:tomatoes, isInBigCity:yes, hasClicked:yes
user2, age:25, wealth:24000, likes:carrots , isInBigCity:no , hasClicked:no
...

С помощью случайных лесов, SVM, логистической регрессии, глубоких нейронных сетей или какого-либо другого метода мы экспортируем модель, которая может выдавать вероятность события hasClicked:yes для нового пользователя, стоящего перед выбором кликнуть.

Извлечение внутренней топологии, выявленной моделью

Теперь эти алгоритмы выполняют сокращение размерности, сводя эти входные данные к одной вероятности. Мой вопрос заключается в следующем: как вы бы извлекли то, что делают эти модели, и показали этапы сокращения размерности человеку? Как бы вы проиллюстрировали внутреннюю топологию набора данных относительно предсказанного класса?

Я ищу либо:

• Визуализации того, что производит модель, созданная с помощью случайных лесов, SVM, логистической регрессии, глубоких нейронных сетей.

• Кластеризаторы, извлекаемые из моделей регрессии/классификации (Естественно, одно дерево решений можно рассматривать как иерархический кластеризатор)

• Специфичный для модели способ проецировать входные данные в пространство, где евклидово расстояние T-SNE имеет смысл.

• Способ обучения совместимого с T-SNE расстояния из модели регрессии/классификации.

• Методы кластеризации, которые оптимизируют разделение одной переменной, не используя её для кластеризации.

• Кластеризаторы, созданные на основе моделей регрессии/классификации.

Цель состоит в том, чтобы извлечь некоторую сегментацию рынка на основе поведения пользователей. И дать высокоуровневую визуализацию этого. Что-то, что четко изложит причины, почему некоторые пользователи конвертируют лучше, чем другие.

Редактирование: Давайте сократим вопрос до одного оценщика: Случайные леса; каков будет ваш ответ?

(замечание: этот ответ на стадии редактирования)
Существует множество объяснителей и диагностик машинного обучения.

Отказ от ответственности: (это должно увеличиваться со временем)

• Я не делаю его точно воспроизводимым, потому что это заняло бы в 2 раза больше времени, и в любом случае он работает как книга.
• Это больше о том, чтобы продемонстрировать метод, чем углубляться в сумасшедшие детали. Если вы хотите глубже разобраться в нюансах, это другой вопрос.

Давайте создадим пример проблемы.

Mnist — это нормальный набор данных, поэтому сначала давайте используем случайный лес для его описания, а затем мы разобьём его на части, чтобы понять, что, почему и как он работает.

Вот мой предпочитаемый “старт” потому, что если у меня его нет, это гарантирует, что я его получу.

#список пакетов
listOfPackages <- c('dplyr',      #обработка данных
                    'ggplot2',    #красивые графики
                    'data.table',  #быстрое чтение/запись
                    'matrixStats', #стандартные отклонения по колонкам
                    'h2o',         #достойный ML инструмент
                    'keras')       #имеет данные mnist

#if not installed, then install and import
for (i in 1:length(listOfPackages)){
  if(!listOfPackages[i] %in% installed.packages(fields = "Package")){
    install.packages(listOfPackages[i] , dependencies = TRUE)
  }
  require(package = listOfPackages[i], character.only = T, quietly = T)
}
rm(i, listOfPackages)

Вот код для чтения mnist с использованием keras:

library(keras)
mnist <- dataset_mnist()
x_train <- mnist$train$x
y_train <- mnist$train$y
x_test <- mnist$test$x
y_test <- mnist$test$y

Необходимо провести небольшую подготовительную работу:

# Переопределение размерности входных данных для обучения/тестирования
x_train <- array_reshape(x_train, c(nrow(x_train), img_rows*img_cols))
x_test <- array_reshape(x_test, c(nrow(x_test), img_rows*img_cols))

df_train <- data.frame(y=y_train, x_train)
df_test  <- data.frame(y=y_test , x_test)

Вот как обработать это с помощью случайного леса, используя h2o.ai, предполагая, что он уже установлен:

# Входные размеры изображения
img_rows <- 28
img_cols <- 28

#запуск h2o
h2o.init(nthreads = -1)

#перенос данных в h2o
train.hex <- as.h2o(df_train, "train.hex")
test.hex <- as.h2o(df_test, "test.hex")

#подготовка для случайного леса
x <- 1:ncol(x_train)
y <- 1
x <- x[-y]

#запуск случайного леса 
myrf <- h2o.randomForest(x, y,
                         training_frame = train.hex,
                         validation_frame = test.hex,
                         ntrees = 150, model_id = "myrf.hex")

Вот как он сработал.

Матрицы ошибок:

Вот обучающие/валидационные метрики

И что? Так что дальше?
У нас есть приличная модель, и она грубо совместима с (этим) эталоном, который говорит, что есть вещи с меньшей ошибкой. Где она ошибается?

В тестовом наборе данных примерно 320 неверных классификаций, и выход за рамки этих данных будет непростительным. Похоже, что она хуже всего работает с 9, 8, 2 и 3. Давайте посмотрим на 8 и 3.

Появляется предупреждение от h2o.ai:

Предупреждение:
In .h2o.processResponseWarnings(res) :
  Удаление плохих и постоянных колонок: [X701, X702, X309, X672, X61, X673, X60, X674, X63, X62, X65, X64, X66, X393, X778, X779, X781, X782, X420, X783, X421, X700, X78, X79, X141, X142, X780, X448, X449, X725, X726, X727, X728, X729, X81, X80, X83, X82, X85, X730, X84, X698, X731, X87, X699, X732, X86, X337, X88, X559, X561, X169, X10, X12, X11, X14, X13, X281, X16, X15, X18, X17, X560, X19, X504, X505, X111, X112, X113, X476, X477, X753, X21, X754, X20, X755, X23, X22, X25, X24, X27, X26, X29, X28, X197, X616, X617, X30, X225, X588, X32, X589, X31, X34, X33, X36, X35, X38, X37, X39, X646, X767, X768, X769, X253, X770, X771, X772, X773, X41, X532, X774, X40, X533, X775, X43, X776, X42, X777, X45, X1, X44, X2, X47, X3, X46, X4, X49, X5, X48, X6, X7, X8, X9, X756, X757, X758, X759, X760, X50, X365, X761, X366, X762, X52, X367, X763, X51, X764, X54, X644, X765, X53, X645, X766, X56, X55, X58, X57, X59].

Шерлок Холмс говорит (приблизительно):
Как только вы исключаете невозможное, все, что остается, независимо от того, насколько маловероятно, должно [содержать] истину.

Давайте уберем невозможное из наших пикселей.

bad_cols <- which(colSds(x_train)==0)
str(bad_cols)

Среди 784 пикселей (колонок) 161 или примерно 21% не имеет информации.

Давайте посмотрим, где случайный лес думает, что сосредоточена большая часть важности.

#популярность важности
myimp <- h2o.varimp(myrf)

#сортировка по относительной важности
myimp <- myimp %>% arrange(-relative_importance)
myimp$index <- 1:nrow(myimp)

#график важностей
ggplot(myimp,aes(x=log10(index), y=log10(scaled_importance))) +
  geom_point()

Это дает такой график:

Это говорит нам, что, как ни странно, большинство важностей сосредоточено всего в нескольких значениях интенсивности пикселей. Я люблю думать о принципе Парето, правиле 80/20, законе Прица или законе Лотки. Также видно, что около $10^{2.5}$ шагов связь падает и перестает вести себя последовательно по одному правилу Лотки. Возможно, это “переход в ‘физике'”, но скорее всего, это “обрыв”, где данные перестают жить.

Далее я хочу взглянуть на “королей”. В частности, я хочу знать, сколько элементов требуется, чтобы получить то же самое. Я мог бы сделать это грубой силой, но не хочу. Когда я смотрю на график, я вижу кластеры с прыжками и использую их, чтобы определить размеры тестов, которые стоит рассмотреть. Я вижу переходы на индексных значениях 10 и 19.

Давайте сделаем подмножество и начнем с LIME.

(замечание: этот ответ на стадии редактирования)