Вопрос или проблема
Я пытаюсь использовать grep для поиска текстовых шаблонов в файле, кодированном в ISO-8859-1:
Когда я выполняю поиск, все совпадения возвращаются, но акцентированные символы убираются. Например, если я хочу найти все слова, оканчивающиеся на -ese:
$ LC_ALL=pt_PT.ISO-8859-1 grep -a ese\$ wordsList
Это приводит к 58 совпадениям. Одним из совпадений является слово hipótese, но при выводе оно отображается как hiptese (отсутствует символ ó).
Как я могу предотвратить удаление акцентированных символов в выводе grep?
Как я могу предотвратить удаление акцентированных символов в выводе
grep?
grep сам по себе не удаляет акцентированные символы, он выводит строки, совпадающие с теми, что находятся во входном файле. Это ваш терминал (эмулятор терминала) не интерпретирует акцентированные символы в кодировке ISO-8859-1 как что-то, что он должен показывать как акцентированные символы.
Ваш терминал, скорее всего, ожидает UTF-8. Остальная часть этого ответа предполагает, что терминал действительно ожидает UTF-8, а локаль установлена в something.UTF-8 (например, pt_PT.UTF-8). Так должно быть во многих современных системах, подобных Unix, по умолчанию, особенно в Linux.
Возможные решения:
-
Возможно, вы сможете настроить ваш эмулятор терминала на ISO-8859-1, выполнить команду и настроить обратно на UTF-8. (например, в
konsoleвыберите в меню:View,Set Encoding; и т.д.). Я бы не назвал это правильным способом, однако. -
Либо преобразуйте вывод
grepв UTF-8 на лету:LC_ALL=pt_PT.ISO-8859-1 grep -a ese\$ wordsList | iconv -f ISO-8859-1 -t UTF-8 -
Если вы планируете работать с файлом часто, преобразуйте его содержимое в UTF-8*:
<wordsList iconv -f ISO-8859-1 -t UTF-8 >wordsList-utf8Затем работайте с новым файлом без ухищрений, например:
grep ese\$ wordsList-utf8Теперь вы даже можете искать акцентированные символы обычным способом, например:
grep ó wordsList-utf8В общем случае эквивалентность Unicode может быть проблемой; но здесь, поскольку файл является конвертированным из ISO-8859-1, я ожидаю согласованности: каждая
óбудет U+00F3 (0xC3B3в UTF-8, вышеупомянутыйgrepего найдет), а не U+006F за которой следует U+0301 (0x6FCC81в UTF-8, вышеупомянутыйgrepего не найдет); аналогично для других акцентированных символов.
* Я заметил, что вы использовали grep -a, как если бы вам нужно было, чтобы grep обрабатывал бинарные файлы как текст. Если ваш wordsList действительно не является текстом, конвертация всего файла в UTF-8 может завершиться неудачей или дать вам неверно сформированный нетекстовый файл. Так как вы не указали определенный файл, я не могу исследовать это дальше, не предполагая. Я полагаю, вы имели в виду файл, указанный под “just the file”, т.е. файл, который можно извлечь из wordsList.zip. С этим конкретным файлом мне не нужно -a для grep, при условии, что я указываю grep использовать правильную кодировку (это то, что делает LC_ALL=pt_PT.ISO-8859-1).
.
Ответ или решение
Чтобы эффективно использовать команду grep для поиска текстовых шаблонов в файле с кодировкой ISO-8859-1, необходимо учесть несколько аспектов, связанных как с самим инструментом, так и с настройками окружения вашей операционной системы. В данном случае, вы сталкиваетесь с проблемой отсутствия отображения акцентированных символов в результате использования команды grep. Проблема не в grep, а скорее связана с несовпадением кодировок вывода терминала и файловых данных. Давайте подробно разберем, как с этим справиться.
Теория
Кодировки: Основы
ISO-8859-1, также известная как Latin-1, — это однобайтовая кодировка символов, охватывающая многие символы, используемые в западноевропейских языках. В отличие от этого, системы и многие терминалы сегодня по умолчанию используют кодировку UTF-8, которая является более универсальной и обладает способностью кодировать символы из различных языков и систем письма.
Проблемы с несовпадением кодировок
Когда вы выполняете команду grep на файле с ISO-8859-1 кодировкой, а ваш терминал ожидает UTF-8, это приводит к тому, что символы отображаются неправильно. Это связано с тем, что байтовые последовательности, применимые для ISO-8859-1, некорректно интерпретируются в UTF-8.
Пример
Рассмотрим вашу конкретную ситуацию: при использовании команды
LC_ALL=pt_PT.ISO-8859-1 grep -a ese$ wordsListвы сталкиваетесь с появлением на выходе слова «hiptese» вместо «hipótese». Это означает, что терминал не может правильно отобразить символ «ó», так как он корректно обрабатывается, но неверно интерпретируется терминалом.
Применение
Вот несколько подходов, которые помогут вам решить эту проблему:
-
Переход на другую кодировку в терминале:
Можно настроить терминал для работы с кодировкой ISO-8859-1. В некоторых терминалах, например в
konsole, это делается через меню:View->Set Encoding. Однако этот способ менее практичен при постоянной работе, так как чаще всего вам придется возвращать настройки обратно на UTF-8. -
Конвертация вывода в UTF-8:
Наиболее разумный метод — перекодировка вывода команды
grepв UTF-8 в реальном времени. Для этого можно использовать командуiconv:LC_ALL=pt_PT.ISO-8859-1 grep -a ese$ wordsList | iconv -f ISO-8859-1 -t UTF-8Эта команда берет вывод
grep, который сгенерирован в кодировке ISO-8859-1, и перекодирует его перед отображением в кодировке UTF-8. -
Конвертация файла целиком:
Если вы часто работаете с таким файлом, целесообразно заранее конвертировать его в UTF-8:
iconv -f ISO-8859-1 -t UTF-8 wordsList > wordsList-utf8После чего, все последующие команды
grepможно выполнять уже без дополнительных настроек среды:grep ese$ wordsList-utf8Теперь вы можете даже выполнять поиск с акцентированными символами без затруднений:
grep ó wordsList-utf8
Необходимо учитывать, что при конвертации файла может возникнуть проблема, если он содержит не только текст. Если файл частично содержит данные, которые grep воспринимает как «не-текст», использование -a опции возможно понадобится. Для обычного текстового файла опция -a не нужна, если вы установили правильную локаль заранее.
Заключение
Ваша проблема связана с разницей в ожидании кодировок между файловыми данными и настройками терминала. Применяя методы конвертации вывода или предварительной конвертации файла в более универсальный формат UTF-8, вы сможете успешно выполнять поиск текстовых шаблонов без потери информации и некорректного отображения специальных символов. Это не только улучшит вашу текущую задачу, но и подготовит ваше окружение для работы с разнообразными текстовыми файлами в будущем.