Можете попробовать этот бесплатный токенизатор, чтобы узнать сколько в вашем предложении (тексте) будет токенов... ИИ ведь оперируют токенами. И цена за токены.
Ну я попробовал на русском - считает, кажется, верно... 18 токенов = 45 символов русского языка (для определенных моделей)...
Русский ИТ бизнес
Русский ИТ бизнес 👨
Подписаться
Комментарии (0)
Просто по математике. В одной модели, одно слово может = 1 токену, а в другой модели это может быть 2 токена.