Как прочитать файл dat, структуру которого я не знаю?

Вопрос или проблема

from asammdf import MDF
dat_file = r"C:\Users\HPO2KOR\Desktop\Work\data1.dat"
mdf_file = r"C:\Users\HPO2KOR\Desktop\Work\data1.mdf"
df = mdf.to_dataframe()
mdf = MDF(mdf_file)
df.head()

data = open(dat_file, "rb")
data.readlines()

b'|CF,2,1,1;|CK,1,3,1,1;\r\n',
 b'|NO,1,7,1,0,,0,;\r\n',
 b'|NL,1,10,1252,0x407;\r\n',
 b'|CT,1,41,0,6,Bench#,24,Korrosionstest 15A046-01,0,;\r\n',
 b'|CT,1,30,0,11,StartOfTest,8,06/30/17,0,;\r\n',
 b'|CT,1,58,0,10,ResultPath,36,c:\\korrosionstest\\daten\\#170161-OR02,0,;\r\n',
 b'|CT,1,59,0,11,GraphicPath,36,c:\\korrosionstest\\daten\\#170161-OR02,0,;\r\n',
 b'|CT,1,31,0,15,GraphicBaseName,5,736_2,0,;\r\n',
 b'|CT,1,26,0,10,PartNumber,5,736_2,0,;\r\n',
 b'|CT,1,31,0,9,VA-Nr. GS,11,170161-OR02,0,;\r\n',
 b'|CT,1,62,0,9,VA-Nr. CC,42,TO_ENV_2017_G2_C1_Platform_CC-122164-03-08,0,;\r\n',
 b'|CT,1,24,0,6,Tester,8,Behrendt,0,;\r\n',
 b'|CT,1,32,0,15,Test Department,6,GS/ETR,0,;\r\n',
 b'|CG,1,5,1,1,1;\r\n',
 b'|CD,1,16,1E-2,1,1,s,0,0,0;\r\n',
 b'|NT,1,27,30, 6,2017,14,25,15.8050001;\r\n',
 b'|CC,1,3,1,1;\r\n',
 b'|CP,1,16,1,2,4,16,0,0,1,0;\r\n',
 b'|Cb,1,33,1,0,1,1,0,11718,0,11718,1,5E-3,0,;\r\n',
 b'|CR,1,30,1,6.103888176768602E-3,0,1,1,A;\r\n',
 b'|CN,1,28,0,0,0,16,ai_iB1_Strom_ECU,0,;\r\n',
 b'|CG,1,5,1,1,1;\r\n',
 b'|CD,1,16,1E-2,1,1,s,0,0,0;\r\n',
 b'|NT,1,27,30, 6,2017,14,25,15.8050001;\r\n',
 b'|CC,1,3,1,1;\r\n',
 b'|CP,1,16,2,2,4,16,0,0,1,0;\r\n',
 b'|Cb,1,37,1,0,2,1,11718,11718,0,11718,1,5E-3,0,;\r\n',
 b'|CR,1,30,1,3.662332906061161E-3,0,1,1,V;\r\n',
 b'|CN,1,31,0,0,0,19,ai_iB1_Spannung_UBB,0,;\r\n',
 b'|CG,1,5,1,1,1;\r\n',
 b'|CD,1,16,1E-2,1,1,s,0,0,0;\r\n',
 b'|NT,1,27,30, 6,2017,14,25,15.8050001;\r\n',
 b'|CC,1,3,1,1;\r\n',

np.fromfile(yourfilepath, dtype="byte")

dat_file = r"C:\Users\HPO2KOR\Desktop\Work\data1.dat"

with open(dat_file, 'r') as file:
    text = file.read()
    print(text)

Ответ или решение

Чтение файлов с расширением .dat, структура которых неизвестна, может представлять собой сложную задачу, особенно если файл содержит как текстовые, так и бинарные данные. В вашей ситуации у вас есть доступ к связанному MDF-файлу, что облегчит понимание структуры данных, так как MDF-формат хорошо документирован и поддерживается определенными библиотеками для работы с ним в Python, такими как asammdf.

Теория

Формат .dat файлов: Файлы с расширением .dat — это формат данных, который может содержать как структурированные, так и неструктурированные данные. Такие файлы могут содержать данные в любом формате, включая текстовый, двоичный и даже комбинацию этих двух. Это универсальный формат, используемый многими приложениями для хранения данных, которые не всегда структурированы.

Подход к чтению данных: Прежде чем приступать к чтению .dat файла, необходимо определиться со структурой данных. Если на выходе из файла вы получаете "мусор" или нечитаемый текст, велика вероятность, что файл содержит бинарные данные. В таких случаях, открытие файла в текстовом режиме не даст нужного результата, и необходимо будет воспользоваться более глубокой обработкой бинарных данных.

Пример

1. Использование библиотеки asammdf: Как вы уже заметили, библиотека asammdf позволяет конвертировать MDF-файл в DataFrame, что упрощает работу с данными, так как они становятся организованными в табличной форме. Пример вашего кода показывает, как это можно сделать:

   from asammdf import MDF
   
   mdf_file = r"C:\Users\HPO2KOR\Desktop\Work\data1.mdf"
   mdf = MDF(mdf_file)
   df = mdf.to_dataframe()
   print(df.head())

   Этот подход позволяет извлечь данные из MDF-файла и понять его структуру.

2. Чтение .dat файла: Если файл с расширением .dat содержит бинарные данные, вы можете попробовать следующий код для его чтения, открывая его в бинарном режиме и анализируя структуру:

   dat_file = r"C:\Users\HPO2KOR\Desktop\Work\data1.dat"
   
   with open(dat_file, "rb") as data_file:
      data = data_file.readlines()
      for line in data:
          print(line)

   Это способ извлечения данных строка за строкой. Однако результат может остаться "мусорным", следовательно, потребуется распарсить его в нужный формат.

3. Использование NumPy для бинарного чтения: Другая возможность — использование библиотеки NumPy, чтобы перевести бинарное содержимое в массив байтов. Это может быть полезно для первичной обработки данных и последующего анализа:

   import numpy as np
   
   data = np.fromfile(dat_file, dtype="byte")
   print(data)

Применение

Как только вы собрали первичную информацию о структуре .dat файла, следующим шагом может быть написание пользовательских функций для преобразования данных в более доступный формат, очевидно учитывающий структуры данных из MDF. Важно понимать, что подход, который вы выберете, будет зависеть от характера данных в .dat файле. В идеале, данные должны быть преобразованы в структуру, аналогичную той, что содержится в MDF файле, что уже доступно в pandas DataFrame.

Если данные из .dat файла остаются неструктурированными, возможно следует изучить возможность написания парсеров, чтобы извлечь ключевую информацию из текстовых строк или же провести обратный инжиниринг, чтобы понять, как данные закодированы. Также может помочь изучение сопроводительной документации, если таковая существует, от поставщика данных или системы, которая сгенерировала этот файл.

Заключение

Работа с неизвестными форматами данных всегда предполагает определённые трудности и требует проведения множества попыток и применения разнообразных стратегий для извлечения полезной информации. Важно сохранять систематический подход, проверять предположения об организации данных и при необходимости использовать специализированные инструменты и библиотеки, чтобы гарантировать правильность и точность обработки и интерпретации данных.