Partager via

Utiliser MapReduce avec Apache Hadoop sur HDInsight avec SSH

Découvrez comment envoyer des travaux MapReduce à partir d’une connexion SSH (Secure Shell) à HDInsight.

Remarque

Si vous connaissez déjà l’utilisation de serveurs Apache Hadoop basés sur Linux, mais que vous débutez avec HDInsight, consultez les conseils HDInsight basés sur Linux.

Conditions préalables

Un cluster Apache Hadoop sur HDInsight. Consultez Créer des clusters Apache Hadoop à l’aide du Portail Azure.

Utiliser des commandes Hadoop

  1. Utilisez la commande ssh pour vous connecter à votre cluster. Modifiez la commande ci-dessous en remplaçant CLUSTERNAME par le nom de votre cluster, puis entrez la commande :

    ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net

  2. Une fois que vous êtes connecté au cluster HDInsight, utilisez la commande suivante pour démarrer un travail MapReduce :

    yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /example/data/WordCountOutput

    Cette commande démarre la wordcount classe, qui est contenue dans le hadoop-mapreduce-examples.jar fichier. Il utilise le /example/data/gutenberg/davinci.txt document comme entrée et la sortie est stockée sur /example/data/WordCountOutput.

    Remarque

    Pour plus d’informations sur ce travail MapReduce et les exemples de données, consultez Utiliser MapReduce dans Apache Hadoop sur HDInsight.

    La tâche émet des détails au fur et à mesure de son traitement, et elle retourne des informations similaires au texte suivant lorsque la tâche se termine :

    File Input Format Counters
Bytes Read=1395666
File Output Format Counters
Bytes Written=337623

  3. Une fois le travail terminé, utilisez la commande suivante pour répertorier les fichiers de sortie :

    hdfs dfs -ls /example/data/WordCountOutput

    Cette commande affiche deux fichiers, _SUCCESS et part-r-00000. Le part-r-00000 fichier contient la sortie de ce travail.

    Remarque

    Certains tâches MapReduce peuvent répartir les résultats entre plusieurs fichiers part-r-#####. Dans ce cas, utilisez le suffixe ##### pour indiquer l’ordre des fichiers.

  4. Pour afficher la sortie, utilisez la commande suivante :

    hdfs dfs -cat /example/data/WordCountOutput/part-r-00000

    Cette commande affiche une liste des mots contenus dans le fichier wasbs://example/data/gutenberg/davinci.txt et le nombre de fois où chaque mot s’est produit. Le texte suivant est un exemple des données contenues dans le fichier :

    wreathed        3
wreathing       1
wreaths         1
wrecked         3
wrenching       1
wretched        6
wriggling       1

Étapes suivantes

Comme vous pouvez le voir, les commandes Hadoop offrent un moyen simple d’exécuter des travaux MapReduce dans un cluster HDInsight, puis d’afficher la sortie du travail. Pour plus d’informations sur d’autres méthodes de travail avec Hadoop sur HDInsight :

  • Last updated on