Täydellinen opas asentaa ja määrittää Apache Hadoop 3 macOS

Täydellinen opas Apache Hadoop 3: n asentamiseen ja määrittämiseen MacOS: ssa
Täydellinen opas Apache Hadoop 3: n asentamiseen ja määrittämiseen MacOS: ssa

tämä on täydellinen opas asentaa ja määrittää Apache Hadoop 3 MacOS. Haluan näyttää sinulle, miten tehdä kaikkein yksinkertainen tapa, jotta voit tehdä sen Mac.

artiklan sisältö

miksi toinen Hadoop asennus opetusohjelma?

työskentelin aiemmin Hadoopin versiolla 2.6 ja sen alapuolella Linuxilla, se on erittäin helppo asentaa. Kuitenkin, tällä hetkellä, minun täytyy setup Mac kehittää työtä ja vaativat työskennellä uusimman Hadoop versio, se on Apache Hadoop 3.2.1; joten en yritä asentaa tavalliseen tapaan kuin Linux. Mutta se ei toiminut!

Googlettaako apua? Asia on, tällä hetkellä tätä kirjoitettaessa, en löydä mitään yhden artikkelin perustamisesta Hadoop versio 3+Mac. Kaikki mitä voin löytää ovat artikkeleita Hadoop aiemmat versiot. Askelmien pitäisi olla samat, saatat kysyä? Kyllä, todellakin, mutta on aina joitakin puuttuvia kohtia version päivitys.

joka tapauksessa, jos sinulla on ongelmia Apache Hadoopin version 3+ perustamisessa Maciisi, tämä artikkeli saattaa auttaa pääsemään yli siitä.

ennakkoedellytykset

tässä oppaassa käytetään viimeisintä Hadoop-versiota, joka on Hadoop 3.2.1, joka noudetaan oletuksena Homebrew ’ n avulla.

joten tässä muutamia stuffeja, jotka tarvitset:

  • Java 8
  • Homebrew (the deps magician of the Mac)

Install and Configure Apache Hadoop 3.2

Step 1: Update brew and install latest Hadoop

$ brew install hadoop

komento noutaa uusimman Hadoop-version ja asentaa Maciin.

oletusarvoisesti Hadoop-asennushakemisto sijaitsee /usr/local/Cellar/hadoop/3.2.1.

myöhemmin, kun luet tämän artikkelin, versio päivittyy ja se on erilainen, paikkana on versiohakemisto, /usr/local/Cellar/hadoop/X.Y.Z.

Vaihe 2: Päivitä HADOOP_OPTS-ympäristömuuttuja

Avaa tämä tiedosto, /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/hadoop-env.sh ja lisää rivi alareunassa:

export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

tai jos löydät rivin export HADOOP_OPTS, voit muokata sitä.

Vaihe 3: Päivitä ydin-sivusto.xml

Avaa tämä tiedosto, /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/core-site.xml ja päivitä kuten alla.

<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/Cellar/hadoop/hdfs/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>

some notes to know:

  • hadoop.tmp.dir : tämä ominaisuus on määrittää paikallisia Hadoop väliaikaisia tietoja, kuten varastointi datanode, namenode, hdfs … voit laittaa sen mihin tahansa hakemistoon haluat, mutta varmista antaa asianmukaiset oikeudet.
  • fs.defaultFS : on aiemmin vanhentuneen avaimen uusi nimi fs.default.name.

Vaihe 4: Päivitä hdfs-sivusto.xml

Avaa tämä tiedosto, /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/hdfs-site.xml ja lisää alle asetukset.

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>

miksi arvo on 1? No, kehitystarkoituksessa pseudo-hajautettu tai yhden klusterin tila riittää ja siinä on oltava vähintään 1 datanodi, joten replikaation määrä on 1.

Vaihe 5: alustaa ja testaa tiedostojärjestelmä

hajautettu tiedostojärjestelmä täytyy alustaa ennen käyttöä, joten alustamme ensimmäisen.

$ hdfs namenode -format

kokeillaan joitakin komentoja testattavaksi. Mutta ennen sitä, meidän pitäisi aloittaa joitakin DFS palvelimet, jotka sisältävät DataNode, NameNode, SecondaryNameNode antamalla komennon jälkeen:

$ cd /usr/local/Cellar/hadoop/3.2.1/sbin$ ./start-dfs.sh

jos virheilmoitusta ei ole, voimme aloittaa alla olevilla komennoilla.

$ hdfs dfs -ls /$ hdfs dfs -mkdir /input$ touch data.txt$ echo "Hello Hadoop" >> data.txt$ hdfs dfs -put data.txt /input$ hdfs dfs -cat /input/data.txt

jos viimeinen komento näyttää yllä olevan sisällön, joka on Hello Hadoop, se toimii onnistuneesti.

Vaihe 6: näytteen MapReduce-työn suorittaminen PURKKIPAKETISSA

nyt on tarkistettava, voiko map-reduce-työ toimia. Tämä voidaan tehdä noudattamalla ohjeita, jotka laitan hadoop-wordcount GitHub-arkistoon.

Vaihe 7: Määritä komentotulkin komennot

sijasta cd hakemistoon /usr/local/Cellar/hadoop/3.2.1/sbin suorittamaan komentoja, voimme vain määrittää globaaliin PATH, joten niitä voidaan kutsua missä tahansa terminaalissa tai komentotulkissa.

lisää seuraava rivi komentotulkin asetustiedostoon, kuten /etc/profile, ~/.bashrc, ~/.bash_profile, ~/.profile, ~/.zshrc… riippuen ympäristöstä.

käytän mieluummin zsh: ta, joten laitan sen Macille ~/.zshrc.

export PATH=$PATH:/usr/local/Cellar/hadoop/3.2.1/sbin

Vaihe 7: Configure complete Hadoop start command

normaalisti Hadoopin oletusasetukset käyttävät local Frameworkia debug/development-tarkoitukseen. Jos haluat käyttää yarn framework paikallisella koneella, kannattaa aloittaa myös lanka, joka tehdään:

$ /usr/local/Cellar/hadoop/3.2.1/sbin/start-yarn.sh

jos olet tehnyt vaiheen 6, kirjoita vain start-yarn.sh.

Hadoop-ympäristösi saattaa siis vaatia kahden komennon suorittamista, ja voit yhdistää ne yhdeksi komennoksi käyttämällä alias.

alias hadoop-start="/usr/local/Cellar/hadoop/3.2.1/sbin/start-dfs.sh;/usr/local/Cellar/hadoop/3.2.1/sbin/start-yarn.sh"alias hadoop-stop="/usr/local/Cellar/hadoop/3.2.1/sbin/stop-dfs.sh;/usr/local/Cellar/hadoop/3.2.1/sbin/stop-yarn.sh"

There you go, Hadoop on valmis työskentelemään Macissa.

loppupäätelmässä

Apache Hadoop 3+: n pystyttäminen ei näytä niin kovin monimutkaiselta, muista seurata yllä olevia askeleitani niin saat sen toimimaan hetkessä.

kuitenkin, Jos kohtaat ongelmia, yritä nähdä tämä Apache Hadoop vianmääritys. Se voi auttaa sinua korjaamaan ongelmasi.

Vastaa

Sähköpostiosoitettasi ei julkaista.