O cálculo da perplexidade por token

A perplexidade mede o quão confuso um modelo está ao prever o próximo token. Quanto menor a perplexidade, mais confiante o modelo está na sua escolha. Para um único token, ela é calculada como o inverso da probabilidade atribuída a ele.

Se um modelo dá 50% de probabilidade para um token, a sua perplexidade é 2. Isso significa que o modelo está tão confuso quanto estaria se tivesse que escolher entre duas opções igualmente prováveis.