Principais conceitos dos LLMs

Existem alguns conceitos fundamentais importantes para entender como usar efetivamente os LLMs, ou seja, tokens e prompts.

• Prompt: Um prompt é uma frase de texto usada para instruir o LLM. Dependendo das palavras usadas na frase, você obtém resultados diferentes.
• Token: Um token pode ser um caractere único, uma fração de uma palavra ou uma palavra inteira. Um token único pode ser usado para representar palavras comuns, enquanto são necessários vários tokens para representar palavras menos comuns.

Prompts

Um prompt de texto é uma frase. Um LLM entende vários idiomas diferentes. Você pode escrever prompts no próprio idioma sem a necessidade de aprender um idioma específico para trabalhar com o LLM. Confira os seguintes exemplos de prompts:

• Gere uma imagem de um papagaio rosa com um chapéu de pirata.

• Crie um aplicativo Web no Python que lide com clientes.

Quanto mais específico você for sobre no pedido, melhor será o resultado.

Tokens

Um token é um texto de unidade básico ou código que um LLM pode entender e processar.

Os modelos de linguagem natural do OpenAI não operam em palavras ou caracteres como unidades de texto, mas no meio termo disso: tokens.

O OpenAI fornece um site de criação de tokens útil que pode ajudar a entender como ele cria tokens de suas solicitações. Para obter mais informações, consulte Criação de tokens do OpenAI.

Quantos tokens existem nas palavras a seguir?

Vamos tentar determinar o número de tokens para as palavras apple, blueberries e Skarsgård a seguir.

Como a palavra apple é uma palavra comum, ela necessita de um token para ser representada. Por outro lado, a palavra blueberries necessita de dois tokens (blue e berries) para ser representada. A menos que a palavra seja comum, nomes próprios como Skarsgård necessitam de vários tokens para serem representados.

Essa representação em token é o que permite que os modelos de IA gerem palavras que você não consegue encontrar em nenhum dicionário sem precisar gerar texto com base em letra por letra.

Como funciona a conclusão?

Os modelos de linguagem natural geram conclusões em um token de cada vez de maneira não determinística.

Em cada etapa, o modelo emite uma lista de tokens e seus pesos associados. A API, em seguida, amostra um token da lista com base em seu peso. Tokens com pesos maiores tem maior probabilidade de serem selecionados.

A API adiciona o token selecionado ao prompt e repete o processo até que o comprimento máximo de tokens para conclusões seja atingido ou até que o modelo gere um token especial chamado de token de parada, o que impede a geração de novos tokens.

Esse processo não determinístico é o que faz com que o modelo gere novas palavras sempre que enviamos uma solicitação de conclusão.