Telega.FM Лента новостей из телеграмм по темам
Русский ИТ бизнес 👨
Подписаться
Post media
ИИ-чёрный ящик: можно ли понять, как думает нейросеть?

Тут на Хабре вышла отличная статья про объяснимый ИИ (XAI). Если кратко: мы всё чаще используем ИИ в критичных сферах - от медицины до юриспруденции, но до сих пор не понимаем, как они принимают решения :)

Проблема в двух словах:

- ИИ выдаёт brilliant-результаты, но не может внятно объяснить ход мыслей
- Методы вроде LIME, SHAP и контрфактуальных объяснений - это костыли, а не решение
- Регуляторы (типа AI Act в ЕС) уже требуют прозрачности


А я смотрю на это и думаю: мы создали цифрового оракула, который умнее нас, но не способен к рефлексии ... Особенно весело, когда ChatGPT генерит фейковые судебные дела с невозмутимым видом - классика "галлюцинаций" LLM!

Но договора ИИ неплохо анализирует, тут признаю.

Русский ИТ бизнес
0/8 Открыть в Telegram

Комментарии (0)

  • p4eline
    Что, уже стали ответчиком по паре-тройке несуществующих судебных дел?)
  • Seregga_78
    ИИ не умнее нас, просто быстрее обрабатывает данные, вернее их огромные объемы. 😁
    До человека ему ещё как раком до Парижа. 😉
    Он очень ограничен во всём, что выходит за рамки его обучающих данных, и в этом его основная слабость.
    А по сути, он зеркало, которое отражает пользователя. 😊
    Каков вопрос, таков и ответ. :)) Но процессы мышления у него прикольные! 🤭
    • ninjakilled
      да камон, чем обычный человек то отличается? мыслит штампами, баесами, привычками, опирается на опыт, оперирует небольшим объемом данных, разве что, а у ИИ тут в разы все получше.
      • Seregga_78
        Ну, если взглянуть на большинство(толпу), то согласен с Вами. 😁
        Но у человека нет границ для мышления, а у ИИ они ограничены датасетом и философскими взглядами разработчиков. 😉
        Да и глубина проработки контекстов и выстраивания связей между различными элементами системы(систем) у человека намного превосходит способности ИИ. И разрыв огромный! 😊
        • ninjakilled
          только что от того, если человек ими не пользуется. результат то один
      • 345997686
        Обычный человек мыслит, даже кошка мыслит на уровне кошки. ИИ не мыслит. Он получает случайный ключ, чтобы построить путь через матрицу весов, это и будет его ответом. Пока веса в матрице релевантны, ответ будет правдоподобным. Как только потребуется обобщить данные, и сделать выводы, выходящие за пределы обучающей выборки, ИИ тут же начинает лажать.
        • ninjakilled
          Канеман рассказал, как "мыслит" обычный человек и нобелевку за это получил. не то чтоб это я придумала
          • 345997686
            Он мыслит отлично от ИИ, этого достаточно, чтобы делать обобщенные выводы, и экстраполировать их на неизвестную область. ИИ этого не может принципиально.
            • Seregga_78
              Да, полностью согласен! 👍
              ИИ лишь собирает ответ из тех данных, на которых обучен, и которые релевантны для пользователя.
          • Seregga_78
            Вы знаете, может он и очень крут(честно, я не знаю ни его, ни его работ), но знаю одно наверняка: сомнение + критическая оценка информации + глубокий и всесторонний анализ - это то, что позволяет не зацикливаться на авторитетах! 😉
            Каждая эпоха несёт новую парадигму, т.е. новое мышление. И то, что вчера казалось монолитом в науке и технологиях, завтра будет вызывать улыбку. 😊
            Помните принцип из кибернетики: Чем сложнее система, тем больше в ней слабых мест! 😉
            • ninjakilled
              не читал, но осуждаю)) я поняла
              • Seregga_78
                Абсолютно нет! 😁
                Как можно осуждать чьи-то идеи, если даже не знаком с ними.
                Я говорю лишь о своем опыте, не более того. 😉