Русский ИТ бизнес
Русский ИТ бизнес

GLM-4

GLM-4
GLM-4.7 Flash вышла. Можно запускать локально. На картинке ее метрики. Она думающая, к слову. Ждем цены на токены у поставщиков... Пишут, что модель будут дешево предлагать, сравнивая с конкурентами.

Русский ИТ бизнес

Комментарии (18)

  • Нежный Радист
    Нежный Радист
    Вчера запускал Ответить
    раскрыть ветку (8)
    • Пряный Единорог
      Пряный Единорог
      И как? Ответить
      раскрыть ветку (6)
      • Нежный Радист
        Нежный Радист
        hf.co/unsloth/GLM-4.7-Flash-GGUF:Q2_K_XL вот эту запускал на xeon 2680v4 32gb через ollama Ответить
        раскрыть ветку (5)
        • Пряный Единорог
          Пряный Единорог
          Скорость инференса какая в итоге получилась? Ответить
          раскрыть ветку (2)
          • Нежный Радист
            Нежный Радист
            не очень быстро, а как посмотреть ? точно? Ответить
            раскрыть ветку (1)
            • Пряный Единорог
              Пряный Единорог
              Если через Ollama, надо запускать с параметром verbose Ответить
        • Чесночный Минотавр
          Чесночный Минотавр
          ссылка уже 404 Ответить
          раскрыть ветку (1)
          • Нежный Радист
            Нежный Радист
            Через гугл ищется Ответить
    • Комичный Лорд
      Комичный Лорд
      на каком железе запускал? какая скорость получилась? Ответить
  • Сквознячный Судья
    Сквознячный Судья
    Мне кажется, что китайцы с метриками нас, все же, обманывают:) или что-то недоговаривают… Ответить
    раскрыть ветку (3)
    • Сквознячный Судья
      Сквознячный Судья
      Comment media
      раскрыть ветку (1)
      • Сквознячный Судья
        Сквознячный Судья
        Я не так как-то смотрю? Ответить
    • Сквознячный Судья
      Сквознячный Судья
      Comment media
  • Нежный Радист
    Нежный Радист
    Comment media
  • Нежный Радист
    Нежный Радист
    Comment media
    достаточно быстро но глючит Ответить
    раскрыть ветку (2)
    • Пряный Единорог
      Пряный Единорог
      Шустро. Особенно для CPU. А в чем глючная? Ответить
      раскрыть ветку (1)
      • Нежный Радист
        Нежный Радист
        зацикливается часто Ответить
  • Пряный Единорог
    Пряный Единорог
    Попробовал вчера. На Beelink Mini PC GTR9 Pro AMD Ryzen AI Max+ 395 CPU 128GB RAM эта модель выдала 47 токенов в секунду. Было бы интересно попробовать версию GLM-4.7-Аir, если они ее выпустят. Ответить