Настройка JAVA HOME для Hadoop 3.0.3 при наличии нескольких версий Java

Я работаю с установкой Hadoop, сделанной кем-то другим.

Ubuntu 18.04.1 LTS
Версия Hadoop 3.0.3
Java open jdk 11 (автоматический режим) и 8 (ручной режим)

В настоящее время Hadoop работает с Java 11, но я хочу настроить Hadoop для работы с Java 8, потому что Hive не работает с Java 11.

Ниже приведена конфигурация Java в моей виртуальной машине.

hadoop@hadoop-VirtualBox:~$ whereis java
java: /usr/bin/java /usr/share/java /usr/share/man/man1/java.1.gz

hadoop@hadoop-VirtualBox:~$ update-alternatives --list java
/usr/lib/jvm/java-11-openjdk-amd64/bin/java
/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java

hadoop@hadoop-VirtualBox:~$ java -version
openjdk version "10.0.2" 2018-07-17
OpenJDK Runtime Environment (build 10.0.2+13-Ubuntu-1ubuntu0.18.04.1)
OpenJDK 64-Bit Server VM (build 10.0.2+13-Ubuntu-1ubuntu0.18.04.1, mixed mode)

hadoop@hadoop-VirtualBox:~$ sudo update-alternatives --config java

Есть 2 варианта для альтернативного java (предоставляющего /usr/bin/java).

  Выбор       Путь                                           Приоритет   Статус
------------------------------------------------------------
* 0           /usr/lib/jvm/java-11-openjdk-amd64/bin/java      1101      автоматический режим
  1           /usr/lib/jvm/java-11-openjdk-amd64/bin/java      1101      ручной режим
  2           /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java   1081      ручной режим


hadoop@hadoop-VirtualBox:~$ ls -lh /usr/lib/jvm/
всего 8.0K
lrwxrwxrwx 1 root root   25 Apr  8 14:16 default-java -> java-1.11.0-openjdk-amd64
lrwxrwxrwx 1 root root   21 Apr 21 14:41 java-1.11.0-openjdk-amd64 -> java-11-openjdk-amd64
drwxr-xr-x 9 root root 4.0K Aug 23 12:28 java-11-openjdk-amd64
lrwxrwxrwx 1 root root   20 Apr 26 16:59 java-1.8.0-openjdk-amd64 -> java-8-openjdk-amd64
drwxr-xr-x 7 root root 4.0K Aug 17 08:24 java-8-openjdk-amd64

Я смотрел на этую тему, чтобы настроить Java, однако в файлах .bashrc или /etc/environment нет записи о JAVA_HOME. Единственное место, где указано JAVA_HOME, это в файле /usr/local/hadoop/etc/hadoop/hadoop-env.sh. В файле JAVA_HOME указан следующим образом:

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

С вышеуказанной конфигурацией Hadoop работает без каких-либо проблем. Я пытался изменить JAVA_HOME в файле hadoop-env.sh на /usr/lib/jvm/java-8-openjdk-amd64 и пытался запустить Hadoop. Но это вызывает ошибку

Нераспознанная опция: --add-modules Ошибка: Не удалось создать виртуальную машину Java. Ошибка: Произошло фатальное исключение. Программа завершит работу.

Я пытался изменить приоритет версии Java с помощью sudo update-alternatives –config java вместе с изменением hadoop-env.sh, но ошибка по-прежнему остается той же.

Чтобы изменить версию Java, нужно ли мне добавить путь в .bashrc и /etc/environment также? Я хотел бы знать, какие изменения нужно внести.

Убедитесь, что у вас есть проверенная резервная копия сначала.

Большая часть экосистемы Hadoop поддерживает только Java 8. Scala, Spark и т. д. Однако, при установке Hadoop, JAVA_HOME нужно настроить в первую очередь.

Вам необходимо удалить Java 11 перед установкой Java 8. Для системы Hadoop будет лучше получить сообщение об ошибке, чтобы помочь определить, где проблема, чем иметь разные JVM (Java 11 и Java 8). Примечание: я предполагаю, что Hadoop запускается автоматически при старте системы, поэтому вам определенно нужно удалить Java 11.

Затем вам нужно пройти через каждый файл конфигурации Hadoop, чтобы дважды проверить, что JAVA_HOME не был настроен. Для Ubuntu это, как правило, /usr/local/hadoop/etc/hadoop, но может быть любым, что хотел предыдущий администратор ($HADOOP_HOME/etc/hadoop). Поиск во всей директории с помощью grep поможет ускорить процесс. Это касается каждого дополнительного продукта, такого как Hive, HBase и т. д. Вам может повезти, что только hadoop-env.sh имеет настроенный JAVA_HOME.

Также проверьте скрипты инициализации в /etc/init.d

После перезагрузки Hadoop, проверьте файлы журналов. Я бы также остановил и перезапустил каждую службу по одной и проверил вывод.