Кто уже попробовал

Кто уже попробовал? Пишут, что ИИ очень достойно стала двигать мышкой и эмулировать человека в навигации по рабочему столу. Вообще для кросс-постов тема прикольная :) Мечтаю попробовать. @bezsmuzi

3 288

👍 9

Комментарии (28)

Плывущий Фанат 2026-03-25 17:48

computer use выполняет задачи долго и дорого, вообще не понимаю прикола Ответить

раскрыть ветку (1)
- Сонный Гранат 2026-03-25 17:50
  
  Можно запустить и лечь спать или прибухнуть без опасности натыкать "не туда" (каламбур 🥳) Ответить
Сказочный Корректор 2026-03-25 17:49

ну что, двигатели мышек, на выход - вас заменил ии. Ответить
Эфирный Доцент 2026-03-25 17:54

Сомневаюсь, что она в автокаде что то сможет. Ответить

раскрыть ветку (1)
- Трагический Мутант 2026-03-25 18:59
  
  Не автокад, но в блендере уже фигачит
  
  https://youtu.be/dxlyCPGCvy8?si=mKG7LyG-pYQsxJa_ Ответить
Пушистый Грифон 2026-03-25 18:04

Навигация по рабочему столу через скриншоты... я такое реализовывал, когда прогать ток учился. Не знал что для этого крутые нейронки нужны, мощные видео карты и тому подобное Ответить

раскрыть ветку (10)
- Пряный Единорог 2026-03-25 19:08
  
  Нейронка может думать в процессе. Например: "Введу сюда цифру 2. Ой, баннер какой-то вылез. Антивирус что ли? Похоже. Попробую закрыть, вижу крестик. Не получается, ну ладно, сдвину в сторону мышкой пока. Снова ввожу 2". Сомневаюсь, что ваша программа так могла без нейронки. Ответить
  
  раскрыть ветку (8)
  - Пушистый Грифон 2026-03-25 19:18
    
    Это все понятно. Удивляет просто восторг масс от такой фичи.
    LLM уже довольно давно не плохо распознают картинки.
    А мышкой двигать, текст печатать можно программно с момента появления всех этих девайсов.
    Т.е. при желании такой на вайбкодить можно давно уже. А преподносится все - как супер фича Ответить
    
    раскрыть ветку (7)
    - Эфирный Доцент 2026-03-25 19:23
      
      Я такую штуку делал на RNN сетках для телефона, но в самый разгар разработки гугл закрыл доступ к считыванию тачей экрана и проект умер. Ответить
    - Пряный Единорог 2026-03-25 19:25
      
      Такие штуки имеют просто огромные перспективы. Процентов 70% офисного персонала в небоскребах по всему в течение дня занимаются только тем, что перекладывают информацию из одного окна в другое. Особенно в древних системах под Windows GUI, для которых нет и не будет API, потому что производитель умер ещё 15 лет назад. Это называется человеческий клей, который соединяет потоки информации между системами с помощью зрения и мышки. Все эти люди получают хорошие зарплаты, страховки, отпускные и больничные. Ответить
      
      раскрыть ветку (5)
      - Эфирный Доцент 2026-03-25 19:27
        
        Существует сотни методов автоматизировать эти процессы без нейронок, но раз до сих пор не сделали, значит этот клей кому то нужен. Ответить
        
        раскрыть ветку (2)
        
        Пряный Единорог 2026-03-25 19:32
        
        Есть RPA системы типа UiPath. Те, кто с ними работал понимают, что в проде они работают очень короткое время после внедрения и получения денег вендором. Потом ломаются и все опять возвращается к ручному вводу. Потому что RPA это просто тупой скрипт, кликаюший по кнопкам. Ответить
        
        Тактичный Дроид 2026-03-26 21:59
        
        Это делали точечно. Автоматизация постоянно медленно но верно шла.
        Подписи стали электронными. Просто один пример из многих Ответить
      - Пушистый Грифон 2026-03-25 19:32
        
        "Я про Фому а вы про Ерему" Я пытаюсь донести что и до выхода GPT 5.4 любой желающий мог навайбкодить скрипт, который отправляет LLM скриншот и промт, а на выходе получает координаты для движения/клика мышкой. Ответить
        
        раскрыть ветку (1)
        
        Пряный Единорог 2026-03-25 20:15
        
        Любой желающий мог. С точностью 43%, сейчас 75%, об этом заметка. Ответить
- Океанический Гоблин 2026-03-25 22:29
  
  Так через нейронку много ещё чего прикольного можно: менять в тексте строчные буквы на заглавные, например. Ответить
Заляпанный Сухарь 2026-03-26 00:16

Угроза clickfroud Ответить
Тёмный Геймер 2026-03-26 22:19

вот еще говорят архитекторы ПО под защитой от ИИ, сколько месяц, два или даже год? =) Ответить

раскрыть ветку (2)
- Тактичный Дроид 2026-03-26 22:29
  
  Архитекторы станут продукт менеджерами, маркетологами творцами (go to market инженерами), и схожими ролями Ответить
  
  раскрыть ветку (1)
  - Тёмный Геймер 2026-03-26 22:31
    
    знакомы продакт нажимает каждые две минуты на трекер в таком режиме около года, через сети знакомых пробовал искать походил на собесы, но пока без результата Ответить
Тактичный Дроид 2026-03-26 22:21

Кодерам уже нечем заняться часами, кроме ручного тестирования. Ручное тестирование драг н дропа, графических редакторов , и графических игр -это скорее всего автоматизируют до конца года, к этому всё идёт, это боль всей индустрии сейчас Ответить

раскрыть ветку (2)
- Маринованный Ниндзя 2026-03-26 22:24
  
  Вы какие-то странные кодеры.
  
  Я на плюсах пишу прошивки под роботехничечкие комплексы, там нет ничего из вашего этого мира разукрашивателей кнопок) Ответить
  
  раскрыть ветку (1)
  - Тактичный Дроид 2026-03-26 22:26
    
    Это даже не наша индустрия, это скорее микроконтроллеры, микроэлектроника.
    Боюсь представить относительный размер этой ниши относительно рынка, нулей после десятичного разделителя будет много Ответить
Пряный Единорог 2026-03-26 21:52

Пока точность 75%, так и будет. Даже 95% это очень мало для использования в продакшене. Ответить
Тёмный Геймер 2026-03-26 22:35

доктора в тренде консультация 30 минут 4000 рублей, но их тоже может ии успешно заменить даже хирургов Ответить

раскрыть ветку (3)
- Тактичный Дроид 2026-03-26 22:38
  
  Они (врачи) уже давно глубоко оптимизированы. Всё на потоке, тяжёлая ответственность закреплена за их решениями. Там нет авантюризма и награды за него
  А у нас в индустрии всё ещё есть такое Ответить
  
  раскрыть ветку (2)
  - Тёмный Геймер 2026-03-26 22:39
    
    так что лучше вместо AI Engineer писать Доктор можно 6 лет сидеть без работы или пойти учиться на доктора =) Ответить
    
    раскрыть ветку (1)
    - Тактичный Дроид 2026-03-26 22:41
      
      Лишь бы дело выгорело, написать можно всё. Можно змеиное масло по млм схеме продавать Ответить