Modelos linguísticos de grande dimensão (LLM)

Esta página fornece exemplos de blocos de anotações para ajustar modelos de linguagem grandes (LLMs) usando computação de GPU sem servidor. Estes exemplos demonstram várias abordagens para o ajuste fino, incluindo métodos eficientes em termos de parâmetros, como a adaptação Low-Rank (LoRA) e o ajuste fino supervisionado completo.

Ajuste fino do modelo Qwen2-0.5B

O bloco de anotações a seguir fornece um exemplo de como ajustar eficientemente o modelo Qwen2-0.5B usando:

• Aprendizagem por reforço de transformadores (TRL) para afinação fina supervisionada
• Kernels Liger para treinamento eficiente em memória com kernels Triton otimizados.
• LoRA para ajuste fino eficiente em parâmetros.

Computador portátil

Obter caderno

Afinar Llama-3.2-3B com Unsloth

Este bloco de anotações demonstra como ajustar o Llama-3.2-3B usando a biblioteca Unsloth.

Lhama Destemida

Obter caderno

Demonstração em vídeo

Este vídeo percorre o caderno em detalhe (12 minutos).

Ajuste fino supervisionado usando DeepSpeed e TRL

Este notebook demonstra como usar a API Python da GPU sem servidor para executar o ajuste fino supervisionado (SFT) usando a biblioteca Transformer Reinforcement Learning (TRL) com otimização do DeepSpeed ZeRO Stage 3.

TRL DeepSpeed

Obter caderno

Ajuste fino LORA usando Axolotl

Este notebook demonstra como usar a API Python de GPU Serverless para realizar ajuste fino de um modelo Olmo3 7B usando a biblioteca Axolotl.

Axolote

Obter caderno