Вопрос или проблема
Издание POSIX 2024 добавило новую функцию для Расширенных регулярных выражений (ERE), поддерживающую “минимальное повторение“; впоследствии я заметил некоторые проблемы с формулировкой опубликованного стандарта, которые должны быть исправлены.
Различие между семантикой POSIX и PCRE (например, Perl, PHP, Python) заключается в том, что POSIX использует соответствие “длины” (самое длинное/самое короткое соответствие для жадных и нежадных квантификаторов), тогда как PCRE использует счётчики повторений.
Согласно оригинальному предложителю, нежадное повторение является устоявшейся функцией во многих реализациях регулярных выражений и готово к включению в стандарт POSIX к моменту написания предложения, однако на данный момент только две известные реализации поддерживают это (DragonflyBSD и macOS), и их страницы man отмечают проблемы с совместимостью, ошибки реализации и отклонения от стандарта; существует библиотека под названием TRE с разрешительной лицензией, которая поддерживает семантику POSIX, которую, по мнению предложителя, могут принять реализации, но я лично считаю, что должно быть несколько независимых реализаций, достигающих совместимости, прежде чем такую функцию можно будет ввести в стандарт.
Какие библиотеки и программы поддерживают семантику POSIX ERE для квантификаторов? (основанную на длине строки, а не на счетчиках повторений)? Мне очень хотелось бы изучить код на практике, так как я хочу быть более осведомлённым, прежде чем вносить дальнейшие изменения в стандарт.
Ответ или решение
Теория: Регулярные выражения (regex) играют важную роль в обработке текстов в компьютерных науках, так как они позволяют осуществлять сложные поисковые и замещающие операции строк. В контексте использования различных платформ и языков программирования, существуют различные стандарты и реализации регулярных выражений, каждый из которых предлагает свои уникальные особенности. Один из таких стандартов — это POSIX ERE (Extended Regular Expressions), который широко используется в UNIX-системах и включает множество функций, необходимых для работы с текстом. К 2024 году в спецификацию POSIX были добавлены дополнительные возможности, в том числе поддержка минимальных повторений (lazy quantifiers), ставшая следствием использования других реализаций regex, таких как PCRE (Perl Compatible Regular Expressions).
Пример: Как правило, реализации PCRE (например, Perl, PHP, Python) используют семантику, основанную на количестве повторений для квантитаторов, когда POSIX оперирует на основе длины строки. Например, при чтении строки, шаблоны с greedy-квантитаторами стремятся захватить максимально возможное количество символов, тогда как минимально повторяющиеся или non-greedy (ленивые) стараются найти короткие совпадения. Эта особенность делает их поведение различным в зависимости от синтаксиса и стандартов, что определяет различную область применения и совместимость в различных средах исполнения.
Текущая ситуация заключается в том, что несмотря на формальное добавление поддержки ленивых квантитаторов в POSIX ERE, на данный момент только DragonflyBSD и macOS реализовали данные изменения. Однако обе эти реализации имеют ограничения и несовершенства, приводящие к проблемам совместимости и нарушениям первоначального стандарта. Проект TRE, доступный по свободной лицензии, поддерживает данные особенности POSIX, предлагая потенциальное решение для внедрения поддержки в других реализациях.
Приложение: Прежде чем библиотека, поддерживающая такой стандарт, станет общепризнанной, важно обеспечить ее реализацию в нескольких независимых платформах для достижения полной интероперабельности. Ваша задача по изучению кода перед тем, как внести вклад в стандарты, требует внимательного обзора существующих библиотек и программ. Среди наиболее известных и открытых для изучения это:
-
TRE — эта библиотека предоставляет возможность работы с регулярными выражениями, поддерживающими POSIX семантику квантитаторов, и, возможно, станет основой для будущих разработок.
-
GNU grep — хотя он не поддерживает ленивые квантитаторы по умолчанию, его рабочая логика может послужить полезной основой для понимания глубинных аспектов регулярных выражений на основе POSIX.
-
BSD grep — используется в различных BSD-системах и может включать или развивается в направлении поддержки POSIX-функций.
Наконец, рекомендуем также ознакомиться с проектами под открытой лицензией, такими как PCRE и их взаимодействие с POSIX-системой, для более широкого понимания схемы работы и возможных сценариев внедрения ленивых квантитаторов. Изучая различные реализации и выявляя их плюсы и минусы, можно значительно обогатить свои знания в области работы с регулярными выражениями и внести значимый вклад в развитие стандартов.