Tworzenie pakietów artefaktów niestandardowych na potrzeby obsługi modelu

W tym artykule opisano, jak upewnić się, że zależności plikowe i artefaktowe modelu są dostępne na punkcie końcowym Deploy models using Mosaic AI Model Serving.

Wymagania

MLflow 1.29 i nowsze

Tworzenie pakietów artefaktów za pomocą modeli

Gdy model wymaga plików lub artefaktów podczas wnioskowania, możesz spakować je do artefaktu modelu podczas rejestrowania modelu.

W przypadku pracy z notesami usługi Azure Databricks powszechną praktyką jest umieszczanie tych plików w zasobach Unity Catalog . Modele są również czasami skonfigurowane do pobierania artefaktów z Internetu (takich jak HuggingFace Tokenizers). Obciążenia w czasie rzeczywistym na dużą skalę działają najlepiej, gdy wszystkie wymagane zależności są statycznie przechwytywane w czasie wdrażania. Z tego powodu serwowanie modelu wymaga, aby artefakty woluminów Katalogu Unity zostały spakowane do samego artefaktu modelu z użyciem interfejsów MLflow. Artefakty sieciowe ładowane z modelem powinny być pakowane razem z modelem, jeśli jest to możliwe.

Za pomocą polecenia MLflow log_model() można rejestrować model i jego zależne artefakty za pomocą parametru artifacts .

mlflow.pyfunc.log_model(
    ...
    artifacts={'model-weights': "/Volumes/catalog/schema/volume/path/to/file", "tokenizer_cache": "./tokenizer_cache"},
    ...
)

W modelach PyFunc ścieżki tych artefaktów są dostępne z context obiektu w obszarze context.artifactsi można je załadować w standardowy sposób dla tego typu pliku.

Na przykład w niestandardowym modelu MLflow:

class ModelPyfunc(mlflow.pyfunc.PythonModel):
    def load_context(self, context):
        self.model = torch.load(context.artifacts["model-weights"])
        self.tokenizer = transformers.BertweetTokenizer.from_pretrained("model-base", local_files_only=True, cache_dir=context.artifacts["tokenizer_cache"])
    ...

Gdy pliki i artefakty zostaną spakowane w ramach artefaktu modelu, możesz udostępnić model na punkt końcowy obsługi modelu.