Вопрос или проблема
Данные кубов хорошо известны в области экстремальной классификации. Каждое изображение имеет набор дескрипторов. В общей сложности набор данных содержит 312 дескрипторов. Вы можете найти список дескрипторов в этом файле.
Мой вопрос заключается в том, как найти векторное representation для каждого дескриптора, чтобы сходство в векторах отражало семантическое сходство дескриптора.
Простой способ начать — это просто вызвать Word2Vec или Glove, чтобы получить встраивания для дескрипторов, а затем уточнить результаты. https://www.kaggle.com/code/pierremegret/gensim-word2vec-tutorial является хорошей отправной точкой, которая охватывает обучение. Вы можете начать с предобученных векторов, например
glove_vectors = gensim.downloader.load('glove-wiki-gigaword-100')
Затем вам нужно будет разбить ваши дескрипторы на отдельные слова, избавиться от подчеркиваний, “-“, и т.д. Как только у вас будет список слов для каждого дескриптора, вы сможете получить средние встраивания, используя код, как в примере:
words = ['upper', 'tail', 'color', 'orange']
mean_vec = glove_vectors.get_mean_vector(words)
А затем использовать mean_vec для определения сходства (например, косинусного расстояния) от других встраиваний.
Один из вариантов — это найти среднее значение встраиваний слов для каждого токена в каждом дескрипторе. Модель предобученных встраиваний слов будет полезным способом начать.
Вот грубый пример на Python:
import gensim
import gensim.downloader
from gensim.utils import tokenize
# Модель предобученных встраиваний слов
model = gensim.downloader.load('glove-wiki-gigaword-300')
# Пример дескриптора из набора данных CUB 200 2011
descriptor = "this bird has a short orange bill, white breast"
# Разделить на токены
tokens = list(tokenize(descriptor))
# Создать среднее векторное встраивание токенов
vector = model.get_mean_vector(tokens)
Ответ или решение
Для нахождения векторного представления для каждого дескриптора, как указано в данной задаче, существует несколько методов, позволяющих отразить смысловую схожесть дескрипторов через векторы. В этом ответе мы подробно рассмотрим этапы, которые вам нужно пройти, используя подходы, такие как использование предобученных векторных моделей слов.
1. Понимание задачи
Данные о кубах (CUB) содержат изображения с набором дескрипторов, всего 312. Каждый из этих дескрипторов состоит из слов, которые могут быть преобразованы в векторы. Наша цель – создать векторное представление для каждого дескриптора, которое будет отражать их семантическую схожесть.
2. Выбор модели векторного представления
Одним из простейших способов начать работу с векторными представлениями является использование предобученных моделей, таких как Word2Vec или GloVe. Эти модели обучены на больших корпусах текстов и могут предоставить достойное начальное векторное представление для ваших дескрипторов.
- GloVe — глобальная векторная модель, подходящая для извлечения семантической информации.
- Word2Vec — модель, ориентированная на контекст выполнения.
Для начала вы можете загрузить предобученные векторы, используя библиотеку gensim:
import gensim.downloader
# Загрузка предобученной модели GloVe
glove_vectors = gensim.downloader.load('glove-wiki-gigaword-100')3. Предобработка дескрипторов
Для каждого дескриптора необходимо разбить текст на токены. Важно очистить текст от символов, таких как подчеркивания или дефисы, чтобы получить чистые слова. Используйте библиотеку gensim для токенизации:
from gensim.utils import tokenize
# Пример дескриптора
descriptor = "this_bird-has a_short orange_breast"
tokens = list(tokenize(descriptor.replace("_", " ").replace("-", " ")))4. Вычисление среднего вектора
После того как вы получите список токенов (слов), следующим шагом будет вычисление среднего вектора для этих токенов. Для этого вы можете использовать метод, предоставленный gensim, для извлечения векторов слов и их агрегации:
mean_vector = sum(glove_vectors[word] for word in tokens if word in glove_vectors) / len(tokens)Однако, для упрощения и уменьшения риска деления на ноль, можно использовать встроенные методы:
mean_vec = glove_vectors.get_mean_vector(tokens)5. Оценка схожести векторов
Теперь у вас есть векторное представление для каждого дескриптора, и вы можете оценивать схожесть дескрипторов через косинусное расстояние. Это поможет вам идентифицировать, насколько семантически близки разные дескрипторы:
from scipy.spatial.distance import cosine
similarity = 1 - cosine(mean_vec_a, mean_vec_b) # Здесь mean_vec_a и mean_vec_b - векторы двух дескрипторовЗаключение
Использование предобученных векторных моделей, таких как Word2Vec или GloVe, предоставляет мощный инструмент для получения векторных представлений дескрипторов. Процесс включает предобработку текста, получение векторов слов и агрегацию для формирования одного вектора. Вычисление семантической схожести между векторами открывает новые горизонты для анализа данных и функциональности систем машинного обучения в области классификации. Погрузитесь в данное пространство, и вы откроете для себя множество возможностей для улучшения своих моделей и алгоритмов.