共用方式為


模型微調概念

微調可協助您調整預先訓練的 AI 模型,以更好地處理特定資料和使用案例。 這種技術可以提高模型效能,同時比從頭開始建立模型需要更少的訓練資料。

此文章涵蓋:

  • 什麼是微調及其運作方式
  • 何時應該使用微調而不是其他方法
  • 如何選擇和準備模型進行微調
  • 迭代和改善結果的最佳實踐

先決條件

在開始之前,您應該具備:

  • 機器學習概念的基本理解
  • 熟悉您的特定使用案例和資料需求
  • 存取範例資料以進行訓練和驗證

什麼是微調?

微調是一種機器學習技術,可調整預先訓練的模型,以更好地處理您的特定任務。 您不是從頭開始訓練模型,而是從已經理解一般模式的模型開始,然後對其進行調整以處理您的資料。

這種方法利用遷移學習——使用從一項任務中獲得的知識來提高相關任務的績效。 當您的訓練資料有限或想要以現有模型功能為基礎進行建置時,微調特別有效。

微調時機

當您有少量資料並想要提高模型效能時,微調效果很好。 透過從預先訓練的模型開始,您可以使用模型已學習的知識並對其進行調整以更好地適合您的資料。 此方法可協助您改善模型的效能,並減少訓練所需的資料量。

當您擁有大量資料時,通常不需要微調模型。 您可以從頭開始訓練模型,無需微調即可獲得良好的結果。 但是,如果您想提高模型的性能,微調仍然會有所幫助。 如果您的特定任務與預先訓練模型最初訓練的任務不同,您可能還想要微調您的模型。

您可以使用提示設計或提示鏈結來避免昂貴的微調。 這些技術可以幫助您產生高品質的文本,而無需微調。

選取預先定型的模型

選擇符合您任務需求的預先訓練模型。 有許多預先訓練的模型可用,每個模型都針對不同的任務進行訓練。 選擇一個在與您的任務類似的工作上訓練的模型。 此選項可協助您使用模型已學習的知識,並調整它以符合您的資料。

HuggingFace 模型是在尋找預先定型模型時的好起點。 模型 HuggingFace 根據訓練的任務分為類別,因此可以輕鬆找到適合您任務的模型。

這些類別包括:

  • 多模態
  • 計算機視覺
  • 自然語言處理
  • 音訊
  • 表格式
  • 增強式學習

檢查模型是否適用於您的環境和工具。 例如,如果您使用 Visual Studio Code (VS Code),則可以使用 Azure Machine Learning 擴充功能 for VS Code 來微調您的模型。

檢查模型的狀態和授權。 一些預訓練模型在開源許可證下可用,而其他模型則需要商業或個人許可證。 HuggingFace 上的所有模型都包含授權資訊。 在微調模型之前,請確定您有使用模型的必要許可權。

準備範例數據

準備樣本數據涉及清理與預處理您的數據,使其適合訓練。 您也應該將數據分割成定型和驗證集,以評估模型的效能。 資料的格式應符合您使用的預先訓練模型所預期的格式。 您可以在模型卡的HuggingFace部分找到模型的此資訊。 大多數模型卡都包含用於建立模型提示的範本和一些虛擬程式碼,以協助您入門。

在模型上反覆運算

微調模型之後,請評估其在驗證集上的效能。 使用準確度、精確度、召回率和 F1 分數等指標來評估模型的效能。 如果模型的效能不令人滿意,請調整超參數、變更架構,或針對更多資料微調模型。 您也可以檢查數據的品質和多樣性,以查看是否有需要解決的問題。 一般情況下,較小的高品質數據集比一組較大型的低質量數據更有價值。

另請參閱

若要深入瞭解微調 AI 模型,請參閱下列資源:

使用 AI 功能時,請檢閱: 在 Windows 上開發負責任的生成式 AI 應用程式和功能