Русский ИТ бизнес 👨
Подписаться
Можете попробовать этот бесплатный токенизатор, чтобы узнать сколько в вашем предложении (тексте) будет токенов... ИИ ведь оперируют токенами. И цена за токены.

Ну я попробовал на русском - считает, кажется, верно... 18 токенов = 45 символов русского языка (для определенных моделей)...

Русский ИТ бизнес

Комментарии (0)

  • dreaktor
    Мы используем нечто подобное для точного чанкирования
  • zerohold
    Бесполезная штука. У каждой модели свой подсчет токенов. Чаще совпадает, но далеко не всегда. Точное количество не узнаете никогда.
    Просто по математике. В одной модели, одно слово может = 1 токену, а в другой модели это может быть 2 токена.
    • GroupAnonymousBot
      выше для openAI
      • zerohold
        принцип тот же.