Вопрос или проблема
Как указано в заголовке, я ищу простой просмотрщик файлов Parquet (с базовыми описаниями столбцов, типами и предварительным просмотром некоторых значений) на рабочем столе Ubuntu.
Иногда я имею дело с некоторыми adhoc файлами. Даже если я хочу увидеть базовую схему, мне приходится загружать их через polars или spark в программный интерфейс. Это сэкономило бы много времени, если бы я мог просто открыть их для быстрого просмотра, как файл Excel.
Squey – это программное обеспечение с открытым исходным кодом, предназначенное для интерактивного изучения и понимания больших объемов табличных данных.
Начиная с версии 5.0, оно нативно поддерживает импорт файлов Apache Parquet. Вы даже можете импортировать несколько файлов Parquet одновременно, если у них одинаковая структура.
Ответ или решение
Просмотрщик файлов Parquet с открытым исходным кодом для Ubuntu
Если вы ищете простой и эффективный способ просмотра файлов Parquet на своем рабочем столе Ubuntu, вам повезло. Файлы Parquet часто используются для хранения больших объемов табличных данных, и часто требуется быстрая проверка их структуры и содержимого без необходимости загрузки через специализированные инструменты, такие как Polars или Apache Spark.
Советы по выбору просмотра файлов Parquet
Одним из лучших решений для просмотра файлов Parquet является Squey. Это программное обеспечение с открытым исходным кодом, которое было разработано для интерактивного изучения и понимания больших объемов табличных данных.
Особенности Squey:
- Поддержка Parquet: С версии 5.0, Squey поддерживает импорт файлов Parquet, что делает его идеальным инструментом для ваших нужд.
- Массовый импорт: Вы можете импортировать несколько файлов Parquet одновременно, при условии, что они имеют одинаковую структуру. Это значительно ускоряет процесс анализа данных.
- Интуитивно понятный интерфейс: Программа предлагает удобный интерфейс для навигации по данным, позволяя вам быстро получить доступ к описаниям столбцов, типам данных и предварительному просмотру значений, что аналогично работе с Excel.
Установка Squey на Ubuntu
Чтобы установить Squey на Ubuntu, выполните следующие шаги:
-
Клонируйте репозиторий:
git clone https://github.com/Squey/Squey.git -
Перейдите в директорию проекта:
cd Squey -
Установите необходимые зависимости:
Чтобы установить все зависимости, вы можете использовать следующие команды (для этого может понадобитьсяNode.jsиnpm):npm install -
Соберите проект:
После установки зависимостей, выполните сборку:npm run build -
Запустите Squey:
После успешной сборки, вы можете запустить Squey с помощью:npm start
Альтернативные варианты
Если по каким-либо причинам Squey не подходит вам, рассматривайте следующие альтернативные решения:
-
Apache Arrow: Хотя это не полноценный просмотрщик, он предоставляет средства для работы с Parquet и может быть использован для предварительного просмотра данных.
-
Pandas: Хотя это будет требовать загрузки Python, библиотека Pandas может открывать файлы Parquet и предоставляет интерфейс DataFrame для быстрого просмотра данных.
-
Parquet-tools: Это командный инструмент для работы с файлами Parquet. Он позволяет просматривать метаданные и содержимое, но интерфейс не столь удобен, как у Squey.
Заключение
Использование Squey или одного из альтернативных инструментов позволит вам с легкостью просматривать файлы Parquet на Ubuntu. Это сэкономит ваше время и улучшит процесс работы с данными, позволяя быстро получать необходимую информацию без дополнительных манипуляций с кодом. Обязательно убедитесь, что вы установили последнюю версию соответствующего программного обеспечения для оптимальной работы.