Как сгруппировать по идентификаторам и подсчитать количество групп с появлением переменной после первой точки?

Язык: Python 3.8

У меня есть dataframe, который состоит из серии людей (каждый из которых появляется несколько раз в dataframe), дат и бинарных переменных. Я пытаюсь выяснить, сколько людей после конкретного события (отмеченного одной из бинарных переменных) продолжили иметь другие положительные события. Например, скажем, что таблица выглядит следующим образом:

| ID |    Дата  | Землетрясение | Пожар | Ущерб от шторма |
|----|----------|---------------|-------|-----------------|
| 1  |  21/01/21 |     0         |  0    |       0         |
| 2  |  03/02/21 |     1         |  0    |       0         |
| 3  |  04/02/21 |     0         |  1    |       0         |
| 1  |  10/02/21 |     1         |  0    |       0         |
| 1  |  28/02/21 |     0         |  1    |       1         |
| 2  |  05/03/21 |     0         |  0    |       1        | 

Итак, в этом примере, после первого случая землетрясения, один человек пережил пожар, а двое — ущерб от шторма.

Моя проблема в том, что я не могу точно понять, как это сделать. Я думаю, что мне нужно использовать groupby, чтобы сгруппировать все идентификаторы вместе, но я немного застрял после этой точки.

Я не уверен, нужно ли группировать все записи, что создало бы объект группировки, а не dataframe.

Я инициализировал новый dataframe new_df с данными, которые вы упомянули в вашем вопросе, а затем использовал код группировки. Однако я думаю, что вы ищете отсортированную матрицу.

Обратите внимание на код и вывод, упомянутые ниже:

grouped = new_df.groupby("ID")
print(grouped.first())
print("Тип сгруппированного:"+str(type(grouped)))
sorted_df = new_df.sort_values(["ID"], ascending=[1])
print("Тип сортированных значений:"+str(type(sorted_df)))
print(sorted_df)

Вывод:

ID     Дата Землетрясение Пожар Ущерб от шторма
0  1  21/01/21          0    0            0
1  2   03/02/21          1    0            0
2  3   04/02/21          0    1            0
3  1  10/02/21          1    0            0
4  1  28/02/21          0    1            1
5  2   05/03/21          0    0            1
       Дата  Землетрясение  Пожар  Ущерб от шторма
ID                                         
1   21/01/21           0     0             0
2    03/02/21           1     0             0
3    04/02/21           0     1             0
Тип сгруппированного:<class 'pandas.core.groupby.generic.DataFrameGroupBy'>
Тип сортированных значений:<class 'pandas.core.frame.DataFrame'>
  ID     Дата Землетрясение Пожар Ущерб от шторма
0  1  21/01/21          0    0            0
3  1  10/02/21          1    0            0
4  1  28/02/21          0    1            1
1  2   03/02/21          1    0            0
5  2   05/03/21          0    0            1
2  3   04/02/21          0    1            0

На самом деле, на днях я нашел то, что считаю хорошим решением, пожалуйста, дайте знать, если я пропустил что-то важное.

1. Во-первых, я убедился, что матрица полностью отсортирована по дате:

df.sort_values(by=['Дата'], inplace=True)

2. Затем я использовал groupby, за которым последовал кумулятивная сумма, чтобы создать переменную, которая будет считать количество случаев до текущего момента в dataframe:

df['Землетрясение_кумулятивная'] = df.groupby(['ID'])['Землетрясение'].cumsum().astype(int)

3. Затем я удалил строки с кумулятивной суммой Землетрясений < 0, затем сделал еще одну кумулятивную сумму для других переменных

df = df[df.Землетрясение_кумулятивная >= 1]
df['Пожар_кумулятивная'] = df.groupby(['ID'])['Пожар'].cumsum().astype(int)
df['Ущерб от шторма_кумулятивная'] = df.groupby(['ID'])['Ущерб от шторма'].cumsum().astype(int)

4. Наконец, я удалил все дубликаты ID, сохраняя последний (последнюю дату)
   и подсчитал тех, у кого Пожар и Ущерб от шторма были больше 0.

df.drop_duplicates(subset="ID", keep='last')
dfПожар = df[df["Пожар_кумулятивная"] > 0]
dfШторм = df[df["Ущерб от шторма_кумулятивная"] > 0]
num_rowsПожар = dfПожар.shape[0]
num_rowsШторм = dfШторм.shape[0]

Я не уверен, является ли это самым эффективным методом, но, насколько я могу судить, он работает.