Freigeben über

Problembehandlung bei Big Data-Clustern mithilfe von Jupyter-Notizbüchern und Azure Data Studio

Diese Seite ist ein Index von Notizbüchern für SQL Server Big Data Cluster. Diese ausführbaren Notizbücher (IPYnb) wurden für SQL Server 2019 entwickelt, um die Problembehandlung von Big Data-Clustern zu erleichtern.

Important

Die Big Data Cluster von Microsoft SQL Server 2019 werden eingestellt. Der Support für SQL Server 2019 Big Data Cluster endete am 28. Februar 2025. Weitere Informationen finden Sie im Ankündigungsblogbeitrag und den Big Data-Optionen auf der Microsoft SQL Server-Plattform.

Jedes Notizbuch wurde entwickelt, um seine eigenen Abhängigkeiten zu überprüfen. Die Option "Alle Zellen ausführen " wird entweder erfolgreich abgeschlossen oder löst eine Ausnahme mit einem hyperlinkierten Hinweis auf ein anderes Notizbuch aus, um die fehlende Abhängigkeit zu beheben. Folgen Sie dem Hinweislink zum Zielnotizbuch, und klicken Sie auf "Alle Zellen ausführen". Nach erfolgreicher Ausführung, kehren Sie zum ursprünglichen Notizbuch zurück und klicken Sie auf "Alle Zellen ausführen".

Sobald alle Abhängigkeiten installiert sind, aber alle Zellen ausführen fehlschlägt, analysiert jedes Notizbuch Ergebnisse und erzeugt nach Möglichkeit einen Linkhinweis zu einem anderen Notizbuch, um das Problem weiter zu beheben.

Problembehandlung bei Big Data-Clustern

Dieser Abschnitt enthält eine Reihe von Notizbüchern zum Abrufen von Protokollen aus einem SQL Server-Big Data-Cluster.

Name Description
TSG100 – Problembehandlung für Big Data-Cluster Übersicht über alle verfügbaren Notebooks zur Problembehandlung bei Big Data Clustern und wann sie verwendet werden sollten.
TSG101 – SQL Server-Problembehandlung Übersicht über alle verfügbaren Notizbücher zur Fehlersuche bei SQL Server-Problemen und wann man sie einsetzen sollte
TSG102 – HDFS-Problembehandlung Übersicht über alle verfügbaren Notizbücher zur Behebung von HDFS-Problemen und wann man sie verwendet.
TSG103 – Spark-Problembehandlung Übersicht über alle verfügbaren Notizbücher zur Problembehandlung bei Spark-Problemen und deren Verwendung
TSG104 – Steuerungsproblembehandlung Übersicht über alle verfügbaren Notizbücher zur Problembehandlung bei Controllerproblemen und deren Verwendung
TSG105 – Gateway-Problembehandlung Übersicht über alle verfügbaren Notizbücher zur Problembehandlung bei Knox Gateway-Problemen und deren Verwendung
TSG106 – App-Problembehandlung Übersicht über alle verfügbaren Notizbücher zur Problembehandlung von App-Deploy-Problemen und deren Einsatzmöglichkeiten

Diagnostizieren von Problemen aus Big Data-Clustern

Eine Reihe von Notizbüchern zur Diagnose von Situationen und Zuständen mit einem Big Data-Cluster.

Name Description
TSG002 - CrashLoopBackoff Diese TSG stellt eine Verbindung mit jedem Container her, dessen letzter Versuch, in einen "Running"-Zustand zu gelangen, fehlgeschlagen ist, und ruft die aktuellen und vorherigen Containerprotokolle ab. Dies ist nützlich zum Debuggen von CrashLoopBackOff-Problemen, die in kubectl get pods gemeldet werden.
TSG025 - FSM-Browser - Abfragecontroller FSM-Zustand Verwenden Sie dieses Notizbuch, um eine Verbindung mit der Controllerdatenbank herzustellen und den FsM-Zustand (Finite State Machine) zu durchsuchen. Verwenden Sie dieses Notizbuch, um aktive Zustandscomputer auflisten und hängen gebliebene Workflows zu identifizieren.
TSG026 – Herstellen einer Verbindung mit dem Datenpoolknoten (zum Ausführen von T-SQL) Verwenden Sie dieses Notizbuch zum Herstellen einer Verbindung mit dem Datenpoolknoten (zum Ausführen von T-SQL)
TSG027 – Clusterbereitstellung beobachten Verwenden Sie dieses Notizbuch zur Überwachung der Clusterbereitstellung. Es bietet Anleitungen zur Fehlerbehebung bei SQL Server Big Data Clustern. Die folgenden Befehle sind häufig nützlich, um zugrunde liegende Ursachen zu identifizieren.
TSG029 – Suchen von Dumps im Cluster Verwenden Sie dieses Notizbuch, um nach Kerndumpen und Minidumpen aus Prozessen wie SQL Server oder Controller in einem Big Data-Cluster zu suchen.
TSG032 – CPU- und Speicherauslastung für alle Container Verwenden Sie dieses Notizbuch, um die CPU- und Arbeitsspeicherauslastung für alle Container zu überprüfen.
TSG037 – Bestimmen des Masterpool-Pods, der das primäre Replikat hostet Verwenden Sie diese Notebook-Umgebung, um den Masterpool-Pod zu bestimmen, der das primäre Replikat für den Big Data-Cluster hostet, wenn die hohe Verfügbarkeit des Masterpools aktiviert ist.
TSG044 – Ausführen von sqlcmd im Masterpoolcontainer Verwenden Sie dieses Notizbuch, um eine direkte Verbindung mit einem Masterpoolknoten über T-SQL herzustellen.
TSG055 - Time Curl to Sparkhead Verwenden Sie dieses Notizbuch, um einen Schritt zu diagnostizieren, um zu verstehen, wie die Curl-Antwortzeit vom Controller-Pod bis zum Sparkhead-Pod ist.
TSG060 - Persistent Volume Speicherplatz für alle Big Data Cluster PVCs Verwenden Sie dieses Notizbuch, um eine Verbindung mit jedem Container herzustellen und den verwendeten/verfügbaren Speicherplatz für jedes persisted Volume (PV) abzurufen, das jedem persisted Volume Claim (PVC) eines Big Data-Clusters zugeordnet ist.
TSG078 - Ist Cluster gesund Verwenden Sie dieses Notizbuch, um zu überprüfen, ob Ihr Big Data-Cluster fehlerfrei ist.
TSG079 – Controllerkernabbild generieren Verwenden Sie dieses Notizbuch zum Generieren des Controllerkernabbilds.
TSG086 – Führen Sie den Befehl "top" in allen Containern aus. Verwenden Sie dieses Notizbuch, um "top" in allen Containern auszuführen.
TSG087 - Use hadoop fs CLI on nameode pod Verwenden Sie dieses Notizbuch, um hadoop fs CLI auf namenode pod zu verwenden.
TSG108 – Anzeige der Konfigurationskarte für das Controller-Upgrade Verwenden Sie dieses Notizbuch, um das Problem bei der Durchführung einer Big-Data-Cluster-Aktualisierung mit azdata bdc upgrade zu beheben.
TSG112 – Active Directory-Überprüfungen vor der Bereitstellung Verwenden Sie dieses Notizbuch, um zu überprüfen, ob eine Big Data-Clusterkonfiguration für eine Active Directory-Bereitstellung gültig ist.
TSG115 – SQL Server unter Linux-Sicherheitsprotokollübersetzer Verwenden Sie dieses Notizbuch, um die protokolle zu analysieren, die von den Loggern security.ldap und security.kerberos für SQL Server unter Linux generiert wurden. Um diese Logger zu aktivieren, platzieren Sie die folgenden Zeilen unter "/var/opt/mssql/logger.ini" auf dem Computer, auf dem SQL Server unter Linux ausgeführt wird. Hinweis: Bei dieser Datei wird die Groß-/Kleinschreibung beachtet.
TSG116 – SQL BDC-Sicherheitsunterstützungsprotokollübersetzer Verwenden Sie dieses Notizbuch, um die vom Sicherheitssupportdienst in SQL BDC generierten Protokolle zu analysieren. Um die Protokolle abzurufen, kopieren wir die Debugprotokolle aus dem Cluster und extrahieren sie. Führen Sie die folgenden Schritte aus: Führen Sie "azdata bdc debug copy-logs -n <namespace>" aus. Dadurch werden mehrere .tar.gz Dateien erstellt : Extrahieren Sie den Inhalt der Debuglogs-namespace-date-time<><><>.tar.gz - Suchen Sie das unter ./<namespace>/control-gespeicherte< Sicherheitsunterstützungsprotokoll...>/security-support/supervisol/log/secsupp-stderr---<...>. Log.
TSG119 – Active Directory-Überprüfungen nach der Bereitstellung Dieses Notizbuch wurde entwickelt, um Ihre BDC-Konfiguration nach einer AD-Bereitstellung zu überprüfen. Es überprüft das Vorhandensein von DNS-Einträgen für alle Endpunkte mit einem dnsName-Attribut, und diese DNS-Einträge sollten Hosteinträge sein, nicht Aliase (d. h. A records not CNAME records). Auch das Vorhandensein bekannter AD-Konten und ob sie aktiviert sind und ob die erwarteten SPNs vorhanden sind

Beheben von Problemen aus Big Data-Clustern

Eine Reihe von Notizbüchern zum Reparieren bekannter Situationen und Zustände eines SQL Server-Big Data-Clusters.

Name Description
TSG005 – Weiterleitungsschleife erkannt Verwenden Sie dieses Notebook, um eine festgestellte Weiterleitungsschleife zu bearbeiten, da das Hilfsprogramm dnsmasq einen lokalen Loopback in die resolv.conf einfügen kann, was dazu führen kann, dass die Controller-Pods während der initialen Clusterbereitstellung in eine CrashLoopBackOff-Schleife geraten: https://askubuntu.com/questions/627899/nameserver-127-0-1-1-in-resolv-conf-wont-go-away|
TSG011 – Neustart des Sparkhistory-Servers Verwenden Sie dieses Notizbuch, um den Sparkhistory-Server neu zu starten, da der Sparkhistory-Java-Prozess während des Starts nicht mehr reagiert. Durch den Neustart des Sparkhistory-Servers (Supervisorctl restart sparkhistory) kann dieses Problem behoben werden.
TSG018 – Beenden des sqlservr-Prozesses im Masterpool Verwenden Sie dieses Notizbuch, wenn T-SQL SHUTDOWN den PROZESS ./sqlservr nicht erfolgreich erneut durchlaufen hat. Verwenden Sie dieses Notizbuch, um den sqlservr-Hauptprozess zu beenden, der vom Front-End-Prozess ./sqlservr automatisch neu gestartet wird.
TSG024 - Namenode befindet sich im abgesicherten Modus Verwenden Sie dieses Notizbuch, wenn HDFS in den Sicherheitsmodus übergeht. Wenn beispielsweise zu viele Pods im Speicherpool zu schnell neu gestartet werden, kann der abgesicherte Modus möglicherweise automatisch aktiviert werden.
TSG028 – Knoten-Manager neu starten auf allen Speicherpoolknoten Verwenden Sie dieses Notizbuch, wenn der Knoten-Manager auf allen Speicherpoolknoten neu gestartet werden muss.
TSG038 – BDC-Fehler werden verursacht, da das Dokument einen Schlüssel fehlt. Verwenden Sie dieses Notizbuch, wenn BDC Erstellungsfehler aufgrund eines fehlenden Schlüsselelements im Dokument auftreten.
TSG039 - Ungültiger Objektname 'role_permissions' Verwenden Sie dieses Notizbuch, wenn aufgrund der Rollenberechtigung in Knox gateway.log ein ungültiges Objektproblem aufgetreten ist.
TSG040 – Fehler beim Abrufen von Dateinamen vom Controller Verwenden Sie dieses Notizbuch, wenn beim Abrufen von Dateinamen vom Controller ein 504 Gateway Time-out auftritt.
TSG041 – Ein neuer asynchroner E/A-Kontext kann nicht erstellt werden (sysctl fs.aio-max-nr erhöhen) Verwenden Sie dieses Notizbuch, wenn kein neuer asynchroner E/A-Kontext erstellt werden kann (erhöhen Sie sysctl fs.aio-max-nr).
TSG045 – Die maximale Anzahl von Datenträgern, die an eine VM dieser Größe (AKS) angefügt werden dürfen Verwenden Sie dieses Notizbuch, wenn eine maximale Anzahl von Datenträgern an eine VM dieser Größe (AKS) angefügt werden darf.
TSG047 - ConfigException - Nur ein Objekt mit Name erwartet Verwenden Sie dieses Notizbuch, wenn eine ConfigException auftritt, welche nur ein Objekt mit einem Namen erwartet.
TSG048 – Bereitstellung bleibt bei "Warten, bis der Controller-Pod aktiv ist" hängen Verwenden Sie dieses Notizbuch, wenn die Bereitstellung bei "Warten darauf, dass der Controller-Pod einsatzbereit ist" hängen bleibt.
TSG050 – Cluster erstellt Blockaden mit "Timeout abgelaufen, warten auf Volumes zum Anfügen oder Anfügen auf Pod" Verwenden Sie dieses Notizbuch, wenn der Cluster hängen bleibt, weil die "Zeitüberschreitung abgelaufen ist, während auf das Anhängen oder Mounten von Volumes für den Pod gewartet wird".
TSG052 – Versuch, Master-svc-DNS zu erhalten, scheiterte und wird es erneut versuchen. Verwenden Sie dieses Notizbuch, wenn der Cluster hängen bleibt, weil die "Zeitüberschreitung abgelaufen ist, während auf das Anhängen oder Mounten von Volumes für den Pod gewartet wird".
TSG057 – Fehler beim Starten des Controllerdiensts. System.TimeoutException Verwenden Sie dieses Notizbuch, wenn Sie den Controllerdienst starten und System.TimeoutException abrufen.
TSG067 – Fehler beim Abschließen des Kube-Konfigurationssetups Verwenden Sie dieses Notizbuch, wenn das Setup der Kube-Konfiguration fehlschlägt.
TSG074 - löschen App-Deploys Verwenden Sie dieses Notizbuch, wenn Probleme beim Löschen von Apps im Big Data-Cluster auftreten.
TSG075 - FailedCreatePodSandBox aufgrund von NetworkPlugin CNI beim Einrichten von Pod fehlgeschlagen. Verwenden Sie dieses Notebook, wenn Sie die Ausnahme FailedCreatePodSandBox aufgrund des Fehlers des NetworkPlugin cni auftreten, was das Einrichten eines Pods verhindert.
TSG080 - Spark-Sitzungen mithilfe von azdata löschen Verwenden Sie dieses Notizbuch, wenn beim Löschen von Spark-Sitzungen Probleme auftreten.
TSG109 – Festlegen von Upgrade-Timeouts Verwenden Sie dieses Notizbuch, wenn Sie auf ein BDC-Upgradeproblem stoßen.
TSG110 – Azdata gibt ApiError zurück. Verwenden Sie dieses Notizbuch, wenn Azdata ApiError zurückgibt.

Next steps

Weitere Informationen zu Big Data-Clustern finden Sie unter Was sind SQL Server Big Data Cluster?.

  • Last updated on