Komplett Guide For Å Installere Og Konfigurere Apache Hadoop 3 På MacOS

Komplett Guide For Å Installere Og Konfigurere Apache Hadoop 3 På MacOS
Komplett Guide For Å Installere Og Konfigurere Apache Hadoop 3 På MacOS

Dette er den komplette veiledningen for å installere Og konfigurere Apache Hadoop 3 På MacOS. Jeg vil vise deg hvordan du gjør det på den enkleste måten, slik at Du kan gjøre Det med Din Mac.

Artikkel Innhold

Hvorfor En Annen Hadoop installasjon tutorial?

jeg pleide å jobbe Med Hadoop versjon 2.6 og under Ved Hjelp Av Linux, det er veldig enkelt å sette opp. Men for øyeblikket må jeg sette opp På Min Mac for å utvikle noe arbeid og kreve å jobbe med nyeste Hadoop-versjon, Det Er Apache Hadoop 3.2.1; så jeg prøvde å installere som vanlig Som En Linux. MEN det fungerte ikke!

Google for hjelpen? Saken er, når dette skrives, kan jeg ikke finne noen enkelt artikkel om å sette Opp Hadoop versjon 3+ På En Mac. Alt jeg kan finne er artikler For Hadoop tidligere versjoner. Trinnene skal være de samme, spør du kanskje? Ja, ja, men det er alltid noen manglende poeng på versjonsoppdatering.

uansett, Hvis Du har problemer med å sette Opp Apache Hadoop versjon 3+ På Deg Mac, kan denne artikkelen hjelpe deg med å komme over det.

forutsetninger

denne veiledningen vil bruke den nyeste Hadoop-versjonen, Som Er Hadoop 3.2.1, som hentes som standard Ved Hjelp Av Homebrew.

så her er noen ting du må ha:

  • Java 8
  • Homebrew (deps magiker Av Mac)

Installer Og Konfigurer Apache Hadoop 3.2

Trinn 1: Oppdater brew Og installer nyeste Hadoop

$ brew install hadoop

kommandoen vil hente den nyeste Hadoop-versjonen og installere I Din Mac.

Som standard Vil hadoop installasjonsmappe være plassert i /usr/local/Cellar/hadoop/3.2.1.

Senere, når du leser denne artikkelen, vil versjonen bli oppdatert, og den vil være annerledes, plasseringen vil være versjonskatalogen, /usr/local/Cellar/hadoop/X.Y.Z.

Trinn 2: Oppdater HADOOP_OPTS miljøvariabelen

Åpne denne filen, /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/hadoop-env.sh og legg til denne linjen nederst:

export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

eller, hvis du finner linjen med export HADOOP_OPTS, kan du redigere den.

Trinn 3: Oppdater kjerneområdet.xml

Åpne denne filen, /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/core-site.xml og oppdater som nedenfor.

<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/hdfs/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>

noen notater å vite:

  • hadoop.tmp.dir : denne egenskapen er å konfigurere Din lokale Hadoop midlertidige data som lagring for datanode, namenode, hdfs… Du kan sette den inn i en katalog du vil, Men sørg for å gi riktig tillatelse.
  • fs.defaultFS : er det nye navnet på den tidligere utdaterte nøkkelen fs.default.name.

Trinn 4: Oppdater hdfs-nettstedet.xml

Åpne denne filen, /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/hdfs-site.xml og legg til under konfigurasjon.

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>

Hvorfor verdien er 1? Vel, for utviklingsformål, er pseudo-distribuert eller enkelt klyngemodus nok, og den må ha minst 1 datanode, så antall replikeringer er 1.

Trinn 5: Format og test filsystem

vi må initialisere det distribuerte filsystemet før bruk, så vi formaterer det første.

$ hdfs namenode -format

La oss prøve noen kommandoer å teste. Men før det, bør vi starte NOEN DFS-servere som inkluderer DataNode, NameNode, SecondaryNameNode ved å utstede følgende kommando:

$ cd /usr/local/Cellar/hadoop/3.2.1/sbin$ ./start-dfs.sh

Hvis det ikke er noen feilmelding, kan vi starte med under kommandoer.

$ hdfs dfs -ls /$ hdfs dfs -mkdir /input$ touch data.txt$ echo "Hello Hadoop" >> data.txt$ hdfs dfs -put data.txt /input$ hdfs dfs -cat /input/data.txt

hvis den siste kommandoen viser innholdet ovenfor, som er Hello Hadoop, fungerer det vellykket.

Trinn 6: Utfør prøve MapReduce jobb i EN JAR-pakke

nå må Vi verifisere om map-reduce job kan fungere. Dette kan gjøres ved å følge instruksjonene som jeg legger på hadoop-wordcount Github-depotet.

Trinn 7: Konfigurer kommandoer for shell

I Stedet for cd katalog i /usr/local/Cellar/hadoop/3.2.1/sbin for å utføre kommandoer kan vi bare konfigurere til global PATH, slik at de kan kalles hvor som helst i terminal eller shell.

Legg til følgende linje i shell-konfigurasjonsfilen din, som /etc/profile, ~/.bashrc, ~/.bash_profile, ~/.profile, ~/.zshrc… avhengig av miljøet ditt.

jeg foretrekker å bruke zsh, så jeg legger den inn i ~/.zshrc på Min Mac.

export PATH=$PATH:/usr/local/Cellar/hadoop/3.2.1/sbin

Trinn 7: Konfigurer komplett Hadoop start-kommando

Normalt vil standardkonfigurasjonen Av Hadoop bruke local rammeverk for feilsøking/utviklingsformål. Hvis du vil bruke yarn rammeverk på lokal maskin, vil du kanskje starte GARN også, som gjøres av:

$ /usr/local/Cellar/hadoop/3.2.1/sbin/start-yarn.sh

hvis du har gjort trinn 6, skriv bare start-yarn.sh.

Så, Hadoop-miljøet ditt kan kreve to kommandoer for å utføre, og du kan kombinere dem til en kommando ved å bruke alias.

alias hadoop-start="/usr/local/Cellar/hadoop/3.2.1/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/3.2.1/sbin/start-yarn.sh"alias hadoop-stop="/usr/local/Cellar/hadoop/3.2.1/sbin/stop-dfs.sh;/usr/local/Cellar/hadoop/3.2.1/sbin/stop-yarn.sh"

Der du går, Hadoop er klar til å jobbe På Din Mac.

til slutt

Å Sette Opp Apache Hadoop 3+ ser ikke så mye komplisert ut, sørg for å følge trinnene mine ovenfor, så vil du få det til å fungere på kort tid.

men hvis du står overfor noe problem, prøv å se Denne Apache Hadoop feilsøkingen. Det kan hjelpe deg med å løse dine problemer.

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert.