Инсайты между двумя столбцами/переменными в Dataframe

У меня есть данные в двух колонках: одна – диапазон старого кредитного рейтинга (диапазон входных оценок) и новая кредитная оценка (cvsc100). Как мне получить информацию из обоих? Где старый – это диапазон значений, а другая колонка – нет (CVSC100)

Я знаю, как вычислить корреляцию Пирсона в Python для датафрейма из двух колонок. Но я считаю, что этого должно быть недостаточно. Как мне поступить, не могли бы вы дать совет

Первый шаг будет заключаться в том, чтобы разбить cvsc100 на те же интервалы, что и у вас для входных данных, это, безусловно, поможет вашим сравнениям.

Второй шаг будет заключаться в создании таблицы частот с вашим диапазоном входных данных в колонках и разбиенным CVS100 в строках, а на пересечении – количество значений. Это поможет наблюдать, как распределен CVSC100 по сравнению с вашим входом и понять основной процесс.

Предполагая, что у вас есть оценка, которую можно записать как оценку для периода n и периода n+1, с некоторыми гипотезами о стационарности основного процесса и модулем некоторой легкой перенормализации, вы можете получить вероятности перехода и использовать эту матрицу для симуляций, чтобы получить распределение оценок для периода n+2 и так далее.

Без дополнительных данных (объясняющих переменных или фактических значений дефолта) вы не можете получить более полезные метрики.

Я опоздал, но я воспроизвел данные, чтобы визуально увидеть потенциальную взаимосвязь/корреляцию. Я попытался построить график данных из 2 колонок, используя plt.errorbar() для лучшего понимания, следующим образом:

import matplotlib.pyplot as plt
import pandas as pd

# Очистка и структурирование извлеченного текста в формате DataFrame
data = [
    ("674-689", 664),
    ("706-719", 734),
    ("805-816", 823),
    ("658-673", 618),
    ("639-657", 684),
    ("690-705", 652),
    ("743-753", 733),
    ("674-689", 685),
    ("608-638", 679),
    ("658-673", 667),
    ("720-731", 748),
    ("840-852", 849),
    ("720-731", 714),
    ("754-767", 752),
    ("674-689", 676),
    ("658-673", 649),
    ("732-742", 727),
    ("690-705", 687),
    ("608-638", 639),
    ("732-742", 773),
    ("805-816", 836),
    ("780-792", 763),
    ("793-804", 778),
    ("840-852", 843),
    ("768-779", 753),
    ("732-742", 734),
    ("639-657", 714),
    ("732-742", 748),
    ("706-719", 727),
    ("608-638", 620),
    ("706-719", 706),
]

# Создание pandas DataFrame
df = pd.DataFrame(data, columns=["Score_Range", "CVSC100"])

# Извлечение числовых значений из 'Score_Range'
df[['Score_Lower', 'Score_Upper']] = df['Score_Range'].str.split('-', expand=True).astype(float)

# Исправление расчета погрешности, используя абсолютные различия
lower_error = abs(df['CVSC100'] - df['Score_Lower'])
upper_error = abs(df['Score_Upper'] - df['CVSC100'])


# Построение графика погрешностей и значений 'CVSC100' по одной оси
plt.figure(figsize=(10, 6))

# Построение графика погрешностей, проецируя их на одну ось 'CVSC100'
plt.errorbar(df['CVSC100'], df.index, xerr=[lower_error, upper_error], fmt="o", ecolor="red", capsize=5, label="CVSC100 с погрешностями")

# Добавление заголовка и меток
plt.title('Проекция значений CVSC100 и погрешности на одной оси')
plt.xlabel('CVSC100')
plt.ylabel('Индекс')
plt.grid(True)
plt.legend()
plt.show()

Я попытался разделить и создать новые колонки для концов интервалов как 'Score_Lower' и 'Score_Upper' и попытался создать таблицу частот:

# Шаг 1: Определите интервалы для CVSC100 на основе значений Score_Range
score_bins = []
for score_range in df['Score_Range']:
    lower, upper = map(int, score_range.split('-'))
    score_bins.append((lower, upper))

# Создание интервалов для CVSC100, используя границы диапазона баллов
bin_edges = sorted(set([lower for lower, upper in score_bins] + [score_bins[-1][1]]))

# Создание интервалов для CVSC100
df['CVSC100_Binned'] = pd.cut(df['CVSC100'], bins=bin_edges, right=True, labels=False)

# Шаг 2: Создание таблицы частот (контингентная таблица)
frequency_table = pd.crosstab(df['CVSC100_Binned'], df['Score_Range'])

import seaborn as sns
import matplotlib.pyplot as plt

# Построение тепловой карты для таблицы частот
plt.figure(figsize=(12, 8))
sns.heatmap(frequency_table, annot=True, cmap="YlGnBu", cbar_kws={'label': 'Частота'}, fmt="d", linewidths=0.5)

# Добавление заголовка и меток
plt.title('Тепловая карта таблицы частот CVSC100 против диапазона оценок')
plt.xlabel('Диапазон оценок')
plt.ylabel('CVSC100 Бин')

# Показать график
plt.show()

Так что я преобразовал df и построил таблицу частот, используя sns.heatmap(), где каждая ячейка представляет собой количество случаев для конкретной комбинации разбиенных значений CVSC100 и Score_Range:

Я не смог прокомментировать вывод тепловой карты таблицы