hadoop

Вопрос или проблема Я работаю над проектом больших данных и использую несколько старых серверов на базе различных операционных систем (Ubuntu, CentOS, Windows 2012, Windows 10). Одна из основных причин, по которой я бы хотел использовать распределенное

Вопрос или проблема Я пытаюсь установить Hadoop, используя руководство с сайта tutorialspoint. Я только что успешно установил hadoop2.9.0. Затем я попытался настроить именованный узел, используя команду «hdfs namenode -format» следующим образом.

Вопрос или проблема Я пытаюсь установить конфигурацию одного узла, я успешно выполнил несколько этапов, таких как загрузка и распаковка архива tar и редактирование всех файлов конфигурации, но столкнулся с проблемами при форматировании namenode.

Вопрос или проблема У нас есть серверы Kafka на Red Hat, и использование диска Kafka очень высокое, почти 100%. Мы наблюдаем по команде sar, что значения rd_sec/s и wr_sec/s высокие. Вопрос: как мы можем определить, превышают ли эти значения порог?

Вопрос или проблема Ambari генерирует предупреждение NameNode Blocks Health: Всего блоков:[38252543], отсутствует блоков:[2]. Нет дополнительной информации. Я выполнил hdfs fsck /, который сообщает, что файловая система в порядке.

Вопрос или проблема Я пытаюсь установить Apache Hive (3.1.1) на многовузловый кластер Hadoop (3.2.0) с 1 мастером имени и 3 узлами данных. Я следовал пошаговому руководству по началу работы на сайте Apache, но при выполнении команды “

Вопрос или проблема Я работаю с установкой Hadoop, сделанной кем-то другим. Ubuntu 18.04.1 LTS Версия Hadoop 3.0.3 Java open jdk 11 (автоматический режим) и 8 (ручной режим) В настоящее время Hadoop работает с Java 11, но я хочу настроить Hadoop для работы

Вопрос или проблема Я пытаюсь подключить hdfs на своем локальном компьютере под управлением Ubuntu, используя следующую команду :— sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.170.52:/ /mnt/hdfs_mount/ Но я получаю эту ошибку:- mount.

Вопрос или проблема Я совсем новичок в HBase и Java. Мне удалось запустить образ HBase в Docker, я могу взаимодействовать с ним, используя оболочку hbase, без каких-либо проблем. У меня также есть доступ к интерфейсу для мониторинга HBase.

Вопрос или проблема Для контекста : $ hadoop version Hadoop 2.7.3.2.6.5.0-292 Что я сделал : $ hdfs dfs -rm -safely -r '/path/to/data/year=2022/month=10' 1>file1.log 2>file2.log $ ls -l file*log -rw-r--r-- 1 userName groupName 0 Окт 23 10:54 file1.

Вопрос или проблема Я использую Hudi с Flink. У меня есть таблица MySQL с именем stu4. Без каталога всё работает. Но с каталогом DFS я не могу считать данные из исходной таблицы. таблица в Hudi: create table stu4( id bigint not null, name string, school

Вопрос или проблема Я пытаюсь установить hbase на автономный узел, но у меня есть проблемы с запуском файловой системы Hadoop с помощью start-dfs.sh: mike@mike-thinks:/usr/local/hadoop/sbin$ ./start-dfs.sh Неправильная конфигурация: адрес namenode dfs.

Вопрос или проблема Этот вопрос был перенесен с Stack Overflow, потому что на него можно ответить на Server Fault. Перенос 2 часа назад. Недавно мы начали задумываться о поддержании высокой доступности (HA) для кластера HDFS, и первое, что мы рассматриваем, это репликация данных.

Вопрос или проблема Я получаю эту ошибку каждый раз, когда пытаюсь запустить Hadoop. Я уже настроил файлы, необходимые для его запуска, но получаю: $ hdfs namenode -format WARNING: /home/jeunesseafricaine/hadoop-3.3.1/logs не существует.

Вопрос или проблема Я установил единственный кластерный узел на своем личном ноутбуке. Установка прошла успешно, и jps отображает все 5 демонов, но когда я пытаюсь войти в hdfs, используя команду hadoop fs, она показывает “

Вопрос или проблема Мы все знаем, что .gz не может быть разбит, это значит, что его может читать только одно ядро. Это означает, что когда я помещаю огромный файл .gz в HDFS, он должен фактически находиться в виде одного блока.

Вопрос или проблема У меня есть следующий код из терминала команд Fedora: [root@localhost python_code]# pwd /root/python_code [root@localhost python_code]# cd .. [root@localhost ~]# ls anaconda-ks.cfg python_code [root@localhost ~]# cd /usr/local [root@localhost