Извлечение нескольких частей из URL с использованием оболочки

У меня есть URL вроде этого: bbc:osdb://://user=&pass=abc%sec=true

Я хочу извлечь , , ,

Пример:

bbc:osdb://293.23.234.55:1234/bbc-dt-af/user=john&pass=pass123abc%sec=true

Должно вернуть:

293.23.234.55:1234:john:pass123

grep или egrep или sed или awk

Этот вариант:

 grep -Eo '([0-9]+.[0-9]+.[0-9]+.[0-9]+)|[0-9]{4}'

даёт мне первые два, и на двух разных строках…

293.23.234.55
1234

Самый простой подход — с помощью sed:

echo 'bbc:osdb://293.23.234.55:1234/bbc-dt-af/user=john&pass=pass123abc&sec=true' | sed 's#.*://\([0-9\.]\{7,15\}\):\([0-9]\+\)/.*user=\([^&]\+\)&pass=\([^&]\+\).*#\1:\2:\3:\4#'

Обратите внимание, что я исправил то, что, по моему предположению, является опечаткой в оригинальном URL.

Решение с помощью Awk:

{
    for (i=1; i <= NF; i++) {
        if ($i ~ /[0-9\.]{7,15}/) {
            host = $i;
        } else if ($i ~ /user=/) {
            split($i, params, "&");
            for (n in params) {
                if (params[n] ~ /user=/) {
                    user = substr(params[n], 6, 100);
                } else if (params[n] ~ /pass=/) {
                    password = substr(params[n], 6, 100);
                }
            }
        }
    }

    print host ":" user ":" password;
}

Запустите это, примерно так

cat file.log | awk -F"https://stackoverflow.com/" -f script.awk

Без преимуществ Минимального Полного Воспроизводимого Примера невозможно охватить вашу точную ситуацию, но можно ответить на вопрос о том, как разобрать 293.23.234.55:1234:john:pass123abc из bbc:osdb://293.23.234.55:1234/bbc-dt-af/user=john&pass=pass123abc%sec=true. (вы не предоставили правило, чтобы объяснить удаление "abc" с конца пароля)

Существует много способов сделать это. Самый простой с одной командой — использовать awk с разделителем полей "https://stackoverflow.com/", чтобы разделить части URL, а затем использовать функции split() и sub() в awk, чтобы разобрать информацию. (вы также можете использовать функции match() и substr())

Основная команда awk для этого:

awk -F/ -v OFS=: '{
  split ($NF, arr, "&")
  sub (/^.*=/, "", arr[1])
  split (arr[2], pwarr, "%")
  sub (/^.*=/, "", pwarr[1])
  print $3, arr[1], pwarr[1]
}'

Где:

• awk -F/ -v OFS=: вызывает awk с разделителем полей FS "https://stackoverflow.com/" и разделителем полей вывода OFS ':',
• '{ начинает определение правила awk,
• split($NF,arr,"&") разделяет последнее поле ($NF) на arr по "&",
• sub(/^.*=/,"",arr[1]) удаляет user= из john
• split (arr[2], pwarr, "%") разделяет pass=pass123abc%sec=true на "%" на pwarr,
• sub(/^.*=/,"",pwarr[1]) удаляет pass= из pass123abc
• print $3,arr[1],pwarr[1] выводит результат, и
• } завершает правило.

Пример/Вывод

$ echo "bbc:osdb://293.23.234.55:1234/bbc-dt-af/user=john&pass=pass123abc%sec=true" |
> awk -F/ -v OFS=: '{
>   split ($NF, arr, "&")
>   sub (/^.*=/, "", arr[1])
>   split (arr[2], pwarr, "%")
>   sub (/^.*=/, "", pwarr[1])
>   print $3, arr[1], pwarr[1]
> }'
293.23.234.55:1234:john:pass123abc

ПРИМЕЧАНИЕ если вы намеревались удалить "abc" с конца пароля, сообщите мне. Не было разделителей, которые бы оправдали обрезку последних 3-символов из пароля (кроме как просто случайно обрезать 3-символа с помощью substr() или sub() — это не имело смысла). Так что полный пароль остался нетронутым.