Créer des clusters HDInsight à l’aide d’Azure CLI

Les étapes décrites dans ce document expliquent comment créer un cluster HDInsight 4.0 à l’aide d’Azure CLI.

Si vous ne disposez pas d’un compte Azure, créez-en un gratuitement avant de commencer.

Conditions préalables

• Utilisez l’environnement Bash dans Azure Cloud Shell. Pour obtenir plus d’informations, consultez Démarrage d’Azure Cloud Shell.

  

• Si vous préférez exécuter des commandes de référence CLI localement, installez Azure CLI. Si vous exécutez sur Windows ou macOS, envisagez d’exécuter Azure CLI dans un conteneur Docker. Pour plus d’informations, consultez Guide pratique pour exécuter Azure CLI dans un conteneur Docker.

  • Si vous utilisez une installation locale, connectez-vous à Azure CLI à l’aide de la commande az login. Pour terminer le processus d’authentification, suivez les étapes affichées dans votre terminal. Pour obtenir d’autres options de connexion, consultez S’authentifier auprès d’Azure à l’aide d’Azure CLI.

  • Lorsque vous y êtes invité, installez l’extension Azure CLI lors de la première utilisation. Pour plus d’informations sur les extensions, consultez Utiliser et gérer des extensions avec Azure CLI.

  • Exécutez az version pour rechercher la version et les bibliothèques dépendantes installées. Pour effectuer une mise à niveau vers la dernière version, exécutez az upgrade.

Créer un cluster

1. Connectez-vous à votre abonnement Azure. Si vous envisagez d’utiliser Azure Cloud Shell, sélectionnez Essayer dans le coin supérieur droit du bloc de code. Sinon, entrez la commande suivante :

   az login
   
   # If you have multiple subscriptions, set the one to use
   # az account set --subscription "SUBSCRIPTIONID"
   

2. Définir des variables d’environnement L’utilisation de variables dans cet article est basée sur Bash. De légères variations sont nécessaires pour d’autres environnements. Consultez az-hdinsight-create pour obtenir la liste complète des paramètres possibles pour la création du cluster.

   Paramètre	Descriptif
   --workernode-count	Nombre de nœuds Worker figurant dans le cluster. Cet article utilise la variable clusterSizeInNodes comme valeur passée à --workernode-count.
   --version	Version du cluster HDInsight Cet article utilise la variable clusterVersion comme valeur passée à --version. Voir aussi : Versions HDInsight prises en charge.
   --type	Type de cluster HDInsight, comme : hadoop, hive interactif, hbase, kafka, spark, rserver, mlservices. Cet article utilise la variable clusterType comme valeur passée à --type. Voir aussi : Types et configuration de cluster.
   --component-version	Versions des différents composants Hadoop, séparées par des espaces, au format « composant=version ». Cet article utilise la variable componentVersion comme valeur passée à --component-version. Voir aussi : Composants Hadoop.

   Remplacez RESOURCEGROUPNAME, LOCATION, CLUSTERNAME, STORAGEACCOUNTNAME et PASSWORD par les valeurs souhaitées. Modifiez les valeurs des autres variables comme vous le souhaitez. Entrez ensuite les commandes CLI.

   export resourceGroupName=RESOURCEGROUPNAME
   export location=LOCATION
   export clusterName=CLUSTERNAME
   export AZURE_STORAGE_ACCOUNT=STORAGEACCOUNTNAME
   export httpCredential='PASSWORD'
   export sshCredentials='PASSWORD'
   
   export AZURE_STORAGE_CONTAINER=$clusterName
   export clusterSizeInNodes=1
   export clusterVersion=4.0
   export clusterType=hadoop
   export componentVersion=Hadoop=3.1
   

3. Créez le groupe de ressources en entrant la commande suivante :

   az group create \
       --location $location \
       --name $resourceGroupName
   

   Pour obtenir la liste des emplacements valides, utilisez la az account list-locations commande, puis utilisez l’un des emplacements de la name valeur.

4. Créez un compte de stockage Azure en entrant la commande suivante :

   # Note: kind BlobStorage is not available as the default storage account.
   az storage account create \
       --name $AZURE_STORAGE_ACCOUNT \
       --resource-group $resourceGroupName \
       --https-only true \
       --kind StorageV2 \
       --location $location \
       --sku Standard_LRS
   

5. Extrayez la clé primaire du compte de stockage Azure et stockez-la dans une variable en entrant la commande suivante :

   export AZURE_STORAGE_KEY=$(az storage account keys list \
       --account-name $AZURE_STORAGE_ACCOUNT \
       --resource-group $resourceGroupName \
       --query [0].value -o tsv)
   

6. Créez un conteneur stockage Azure en entrant la commande suivante :

   az storage container create \
       --name $AZURE_STORAGE_CONTAINER \
       --account-key $AZURE_STORAGE_KEY \
       --account-name $AZURE_STORAGE_ACCOUNT
   

7. Créez le cluster HDInsight en entrant la commande suivante :

   az hdinsight create \
       --name $clusterName \
       --resource-group $resourceGroupName \
       --type $clusterType \
       --component-version $componentVersion \
       --http-password $httpCredential \
       --http-user admin \
       --location $location \
       --workernode-count $clusterSizeInNodes \
       --ssh-password $sshCredentials \
       --ssh-user sshuser \
       --storage-account $AZURE_STORAGE_ACCOUNT \
       --storage-account-key $AZURE_STORAGE_KEY \
       --storage-container $AZURE_STORAGE_CONTAINER \
       --version $clusterVersion
   

   Important

   Les clusters HDInsight sont de différents types, qui correspondent à la charge de travail ou à la technologie pour laquelle le cluster est optimisé. Il n’existe aucune méthode prise en charge pour créer un cluster qui combine plusieurs types, tels que HBase sur un seul cluster.

   La fin du processus de création du cluster peut prendre plusieurs minutes. En général, environ 15.

Nettoyer les ressources

Après avoir terminé ce tutoriel, vous souhaiterez peut-être supprimer le cluster. Avec HDInsight, vos données sont stockées dans le stockage Azure. Vous pouvez ainsi supprimer un cluster en toute sécurité s’il n’est pas en cours d’utilisation. Vous devez également payer pour un cluster HDInsight, même quand vous ne l’utilisez pas. Étant donné que les frais pour le cluster sont bien plus élevés que les frais de stockage, mieux vaut supprimer les clusters quand ils ne sont pas utilisés.

Entrez tout ou partie des commandes suivantes pour supprimer des ressources :

# Remove cluster
az hdinsight delete \
    --name $clusterName \
    --resource-group $resourceGroupName

# Remove storage container
az storage container delete \
    --account-name $AZURE_STORAGE_ACCOUNT \
    --name $AZURE_STORAGE_CONTAINER

# Remove storage account
az storage account delete \
    --name $AZURE_STORAGE_ACCOUNT \
    --resource-group $resourceGroupName

# Remove resource group
az group delete \
    --name $resourceGroupName

Résolution des problèmes

Si vous rencontrez des problèmes lors de la création de clusters HDInsight, reportez-vous aux exigences de contrôle d’accès.

Étapes suivantes

Maintenant que vous avez créé un cluster HDInsight à l’aide d’Azure CLI, utilisez ce qui suit pour apprendre à utiliser votre cluster :

Clusters Apache Hadoop

• Utilisation d’Apache Hive avec HDInsight
• Utilisation de MapReduce avec HDInsight

Les clusters Apache HBase

• Bien démarrer avec Apache HBase sur HDInsight
• Développer des applications Java pour Apache HBase sur HDInsight