這很重要
這項功能位於 測試版 (Beta) 中。 工作區管理員可以從 「預覽 」頁面控制對此功能的存取。 請參閱 管理 Azure Databricks 預覽。
本頁提供使用無伺服器 GPU 運算微調大型語言模型 （LLM） 的筆記本範例。 這些範例展示了各種微調方法，包括參數效率高的方法，如 Low-Rank 適應 （LoRA） 和完全監督微調。
微調Qwen2-0.5B模型
下列筆記本提供如何使用有效微調 Qwen2-0.5B 模型的範例：
- 用於監督微調的 Transformer 強化學習 （TRL）
- 使用優化 Triton 核心進行記憶體有效率訓練的 Liger 核心。
- LoRA 用於參數效率微調。
Notebook
使用 Unsloth 微調 Llama-3.2-3B
此筆記本示範如何使用 Unsloth 連結庫微調 Llama-3.2-3B。
樹懶駱駝
影片示範
這段影片會詳細演示電子筆記本（時長 12 分鐘）。
使用 DeepSpeed 和 TRL 進行監督式微調
本筆記本示範如何使用無伺服器 GPU Python API 使用具有 DeepSpeed ZeRO 第 3 階段最佳化的 Transformer 強化學習 （TRL） 程式庫 來執行監督式微調 （SFT）。
TRL DeepSpeed
利用 Axolotl 進行 LORA 微調
本筆記本展示如何使用無伺服器 GPU Python API 來利用