Как работать с «Ergänzungsstrichen» и «Bindestrichen» в немецкой обработке естественного языка?

Проблема

Во фразе на немецком языке “Haupt- und Nebensatz” в точности такое же значение, как и у “Hauptsatz und Nebensatz”. Однако при преобразовании обеих фраз с использованием, например, конвейера de_core_news_sm из spacy, косинусное сходство полученных векторов значительно различается:

Код для воспроизведения

import spacy
import numpy as np

def calc_cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

nlp = spacy.load("de_core_news_sm")
doc1 = nlp("Hauptsatz und Nebensatz")
doc2 = nlp("Haupt- und Nebensatz")
for token1, token2 in zip(doc1, doc2):
    similarity = calc_cosine_similarity(token1.vector, token2.vector)
    print(f"{token1.text}: {similarity}")

Мои исследования для решения

В этой бакалаврской диссертации на странице 5 указано:

Различие проводится между фразами с дополнительным дефисом, как в “главные и подчиненные предложения”, и фразами с дефисом, как в “соотношение цены и качества”. Первые разделяются на несколько токенов, вторые образуют один токен. (перевод с оригинального немецкого)

Это звучит так, как будто решение предобработки уже доступно? Однако пока я не нашел никакого решения, например, на https://github.com/adbar/German-NLP, но возможно, я что-то упустил.

Сегодня протестировал bert-base-german-cased из huggingface. Результаты все еще различаются, но стали гораздо более похожими. Кроме того, токенайзер разделяет слова желаемым образом. Это уже может работать для моего случая, так что отмечаю вопрос как решенный.

Код для воспроизведения:

from transformers import BertTokenizer, BertModel, AutoModel
import numpy as np

tokenizer = AutoTokenizer.from_pretrained("bert-base-german-cased")
model = AutoModel.from_pretrained("bert-base-german-cased")

def calc_cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

def calc_bert_embeddings(text):
  """Возвращает вектор (N,768), представляющий эмбеддинги для N токенов."""
  tokens = tokenizer(text, return_tensors="pt") 
  output = model(**tokens)
  return tokens.tokens(), output["last_hidden_state"][0,:,:].detach().numpy()

tokens1, vec1 = calc_bert_embeddings("Haupt- und Nebensatz")
tokens2, vec2 = calc_bert_embeddings("Hauptsatz und Nebensatz")
for idx in range(len(tokens1)):
  similarity = calc_cosine_similarity(vec1[idx,:], vec2[idx,:])
  print(f"{tokens1[idx]};{tokens2[idx]};{similarity:.3f}")