Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ważne
Ta funkcja jest dostępna w wersji beta. Administratorzy obszaru roboczego mogą kontrolować dostęp do tej funkcji ze strony Podglądy . Zobacz Zarządzanie wersjami zapoznawczami usługi Azure Databricks.
Ta strona zawiera przykłady notesów dostrajania dużych modeli językowych (LLM) przy użyciu bezserwerowych obliczeń procesora GPU. W tych przykładach przedstawiono różne podejścia do dostosowywania, w tym metody wydajne pod względem parametrów, takie jak Low-Rank Adaptacja (LoRA) i pełne nadzorowane dostrajanie.
Dostrojenie modelu Qwen2-0.5B
Poniższy notatnik zawiera przykład tego, jak efektywnie dostosować model Qwen2-0.5B przy użyciu:
- Uczenie wzmacniania transformatora (TRL) do nadzorowanego dostrajania
- Jądra Liger do efektywnego wykorzystania pamięci podczas trenowania przy użyciu zoptymalizowanych jąder Triton.
- LoRA do wydajnego dostrajania parametrów.
Notatnik
Fine-tune Llama-3.2-3B z unsloth
W tym notesie pokazano, jak dostosować bibliotekę Llama-3.2-3B przy użyciu biblioteki Unsloth.
Unsloth Llama
Pokaz wideo
Ten film wideo omawia szczegółowo notes (12 minut).
Nadzorowane dostrajanie przy użyciu technologii DeepSpeed i TRL
W tym notesie pokazano, jak używać bezserwerowego interfejsu API języka Python procesora GPU do uruchamiania nadzorowanego dostrajania (SFT) przy użyciu biblioteki TRL (Transformer Reinforcement Learning) z optymalizacją deepSpeed ZeRO Stage 3.
TRL DeepSpeed
Dostrajanie LORA przy użyciu Axolotl
Ten notatnik demonstruje, jak używać bezserwerowego interfejsu API Pythona dla procesora GPU do dostrajania LORA modelu Olmo3 7B przy użyciu biblioteki Axolotl.