Как улучшить точность при классификации коротких текстов с ограниченным контекстом

Question

Мой случай использования заключается в классификации названий должностей по функциональным областям. Я дообучил all-mpnet-base-v2 с помощью Setfit, предоставив около 10 примеров для каждого класса (функциональные области).

Я получил 82% точности при оценке на моем тестовом наборе. Я заметил, что некоторые простые и очевидные названия должностей ошибочно классифицировались с меткой 0.6.

Например:

Запрос: SDET
Предсказанная метка: Big Data / DWH / ETL
Оценка уверенности:
Метка: Бухгалтерский учет / Финансы, Уверенность: 0.0111
Метка: Разработка Backend, Уверенность: 0.0140
Метка: Big Data / DWH / ETL, Уверенность: 0.6092

Здесь SDET должен был быть помечен как QA / SDET, но классифицирован как Big Data / DWH / ETL с оценкой 0.62. Примеры с несколькими образцами для обоих классов не имеют ничего общего, что могло бы сбить с толку модель, за исключением одного примера с названием Data Quality Engineer, который относится к Big Data / DWH / ETL.

Примеры с несколькими образцами (добавлены только 2)

{    "QA / SDET": [
        "Инженер по обеспечению качества",
        "Инженер по разработке программного обеспечения в тестировании (SDET)",
        "Инженер по автоматизации QA",
        "Тест-инженер",
        "Аналитик QA",
        "Ручной тестировщик",
        "Автоматизированный тестировщик",
        "Инженер по нагрузочному тестированию",
        "Инженер по тестированию безопасности",
        "Мобильный QA-инженер",
        "API-тестировщик",
        "Инженер по нагрузочному и стресс-тестированию",
        "Старший QA-инженер",
        "Архитектор автоматизации тестирования",
        "Руководитель QA",
        "Менеджер QA",
        "Тестировщик полного цикла",
        "Тестировщик игр QA",
        "Тестировщик UI/UX",
        "Инженер по интеграционному тестированию",
        "Инженер по контролю качества",
        "Инженер по тестовым данным",
        "QA-инженер DevOps",
        "Тестировщик непрерывной интеграции (CI)",
        "Консультант по тестированию программного обеспечения"
    ],
    
    "Big Data / DWH / ETL": [
        "Инженер по большим данным",
        "Разработчик хранилищ данных",
        "Разработчик ETL",
        "Разработчик Hadoop",
        "Разработчик Spark",
        "Инженер по данным",
        "Специалист по интеграции данных",
        "Инженер конвейера данных",
        "Архитектор данных",
        "Администратор баз данных",
        "Архитектор ETL",
        "Инженер озера данных",
        "Разработчик Informatica",
        "Инженер DataOps",
        "Разработчик BI",
        "Специалист по миграции данных",
        "Архитектор хранилищ данных",
        "Тестировщик ETL",
        "Инженер платформы больших данных",
        "Инженер Apache Kafka",
        "Разработчик Snowflake",
        "Инженер по качеству данных",
        "Инженер по поглощению данных",
        "Консультант по большим данным",
        "Менеджер ETL"
    ]
}

TrainingArgs

args = TrainingArguments(
    batch_size=16,
    num_epochs=1,
    evaluation_strategy="epoch",
    save_strategy="epoch",
    load_best_model_at_end=True,
)

Вот полный набор функциональных областей.

functional_areas = [
    "Бухгалтерский учет / Финансы",
    "Разработка Backend",
    "Big Data / DWH / ETL",
    "Управление брендом",
    "Копирайтинг",
    "Обслуживание клиентов",
    "Анализ данных / Бизнес-аналитика",
    "Наука о данных / Машинное обучение",
    "Администрирование / Разработка баз данных",
    "DevOps / Облако",
    "Встраиваемая / Ядерная разработка",
    "Управление мероприятиями",
    "Разработка Frontend",
    "Полноценная разработка",
    "Функциональное / Техническое консультирование",
    "Общее управление / Стратегия",
    "Управление ИТ / ИТ-поддержка",
    "ИТ-безопасность",
    "Мобильная разработка",
    "Сетевое администрирование",
    "Онлайн-маркетинг",
    "Управление операциями",
    "PR / Коммуникации",
    "QA / SDET",
    "SEO / SEM",
    "Продажи / Развитие бизнеса"
]

Мое предположение в том, что точность низкая из-за короткого текста (который является только названием должности). Пожалуйста, предложите несколько вариантов, которые я могу попробовать, чтобы повысить точность модели.

Как улучшить точность при классификации коротких текстов с ограниченным контекстом

Вопрос или проблема

Ответ или решение