Извлеките информацию между двойными кавычками в .csv

У меня есть проблемы со скриптом, который анализирует .csv файл

Информация о .csv:

#1,13/8/2020,[email protected],[email protected],,Тема,"Дорогой друг,

Информация была обновлена. Пожалуйста, войдите в приложение, чтобы просмотреть до 30 августа 2020 года. Спасибо.

С наилучшими пожеланиями,
г-н Мак",В ожидании,13/8/2020 12:35

Вот как информация должна быть разделена:
MsgID,Дата,Кому,Копия,Скрытая Копия,Тема,Текст,Статус,Время записи

MsgID=#1
Дата=13/8/2020
[email protected]
[email protected]
Скрытая Копия=
Тема=Тема
Текст=Дорогой друг,
Информация была обновлена. Пожалуйста, войдите в приложение, чтобы просмотреть до 30 августа 2020 года. Спасибо.
С наилучшими пожеланиями,
г-н Мак
Статус=В ожидании
Время записи=13/8/2020 12:35

Проблемы, с которыми я сталкиваюсь, связаны с текстом тела по двум причинам: запятая “,” в тексте, которая ломает скрипт, и другая причина – переносы строк в тексте.

Вот скрипт, который я делал:

#!/bin/bash

export TIMESTAMP="$( date '+%d/%m/%Y %H:%M:%S' )"
INPUT=/tmp/test.csv
OUTPUT=/tmp/test.csv.out
OLDIFS=$IFS
IFS=','
[ ! -f $INPUT ] && { echo "$INPUT файл не найден"; exit 99; }
while read msgid dat to cc bcc subject body status timesta
do
        echo "MSG ID : $msgid" 
        echo "Дата : $dat"
        echo "Кому : $to"
        echo "Копия : $cc"
        echo "Скрытая Копия : $bcc"
        echo "Тема : $subject"
        echo "Текст : $body"
        echo "Статус : $status"
        echo "Время записи : $timesta"
echo $body | mail -s "$subject" $to -c $cc -b $bcc
printf "$msgid,$dat,$to,$cc,$bcc,$subject,$body,Отправлено,$TIMESTAMP" >> $OUTPUT
done < $INPUT
IFS=$OLDIFS

Оболочка – это просто очень плохой инструмент для анализа текста. Вы должны использовать его только для самых простых задач, и, вероятно, даже в этом случае не стоит. Это медленно, неэффективно, его очень сложный синтаксис делает его подверженным ошибкам, и ему не хватает самых основных инструментов обработки текста. К тому же, CSV – это сложный формат, который позволяет использовать вложенные и многострочные записи. Попытка проанализировать файл CSV в оболочке просто приведет к проблемам.

Поэтому используйте для этого соответствующий язык программирования с поддержкой анализа CSV. Например, на Python:

#!/bin/python3
import csv
import sys

with open(sys.argv[1], newline="") as csvfile:
    fieldnames = ("MsgID","Дата","Кому","Копия","Скрытая Копия",
                  "Тема","Текст","Статус","Время записи")
    reader = csv.reader(csvfile, delimiter=",")
    for row in reader:
        for fieldName, value in zip(fieldnames,row):
            print("%s: %s" % (fieldName,value))

Я сохранил вышеуказанный скрипт как foo.py, а затем:

MsgID: #1
Дата: 13/8/2020
Кому: [email protected]
Копия: [email protected]
Скрытая Копия: 
Тема: Тема
Текст: Дорогой друг,

Информация была обновлена. Пожалуйста, войдите в приложение, чтобы просмотреть до 30 августа 2020 года. Спасибо.

С наилучшими пожеланиями,
г-н Мак
Статус: В ожидании
Время записи: 13/8/2020 12:35

Как вы можете видеть, он правильно распознал все поля. Таким образом, чтобы также отправить почту, вы можете сделать что-то подобное (адаптировано отсюда):

#!/bin/python3
import csv
import sys
import subprocess
import os

def send_message(to, cc, bcc, subject, body):
    try:
        process = subprocess.Popen(['mail', '-s', subject, '-c', cc, '-b', bcc, to],
                                   stdin=subprocess.PIPE)
    except Exception as error:
      print(error)
    process.communicate(body)


with open(sys.argv[1], newline="") as csvfile:
    reader = csv.reader(csvfile, delimiter=",")
    for row in reader:
        (msgID, date, to, cc, bcc, subj, body, status, timestamp) = row
        send_message(to, cc, bcc, subj, body)

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Вы, кажется, используете BSD mail на основе предоставленных вами параметров. У меня нет доступа к рабочей системе с установленным этим инструментом, поэтому я не смог протестировать приведенный выше скрипт для отправки почты. Тем не менее, он должен хотя бы служить хорошим началом.

Вы можете использовать инструмент Miller (https://github.com/johnkerl/miller), специализированный для работы с структурированными текстовыми данными.

Например, начиная с этого файла input.txt

#1,13/8/2020,[email protected],[email protected],,Тема,"Дорогой друг,

Информация была обновлена. Пожалуйста, войдите в приложение, чтобы просмотреть до 30 августа 2020 года. Спасибо.

С наилучшими пожеланиями,
г-н Мак",В ожидании,13/8/2020 12:35

и запустив

mlr --implicit-csv-header --c2x cat then label MsgID,Дата,Кому,Копия,Скрытая Копия,Тема,Текст,Статус,Время записи input.txt

вы получите

MsgID     #1
Дата      13/8/2020
Кому      [email protected]
Копия     [email protected]
Скрытая Копия
Тема      Тема
Текст     Дорогой друг,

Информация была обновлена. Пожалуйста, войдите в приложение, чтобы просмотреть до 30 августа 2020 года. Спасибо.

С наилучшими пожеланиями,
г-н Мак
Статус    В ожидании
Время записи 13/8/2020 12:35

Если вы хотите удалить переносы строк из поля текста, вы можете запустить

mlr --implicit-csv-header --c2x cat then label MsgID,Дата,Кому,Копия,Скрытая Копия,Тема,Текст,Статус,Время записи then put '$Текст=gsub($Текст,"\n"," ")' input.txt

чтобы получить

MsgID     #1
Дата      13/8/2020
Кому      [email protected]
Копия     [email protected]
Скрытая Копия
Тема      Тема
Текст     Дорогой друг, Информация была обновлена. Пожалуйста, войдите в приложение, чтобы просмотреть до 30 августа 2020 года. Спасибо. С наилучшими пожеланиями, г-н Мак
Статус    В ожидании
Время записи 13/8/2020 12:35