|
Искусственный интеллект: проблемы и перспективы ИИ
|
|
| Саня | Дата: Вторник, 04 Ноября 2025, 21:14:51 | Сообщение # 36 |
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Исследование показало, что с ChatGPT нужно общаться грубо
Новое исследование Университета Пенсильвании выявило неожиданную закономерность: грубые и требовательные формулировки запросов повышают точность ответов ChatGPT. Согласно данным ученых, модель GPT-4o демонстрировала улучшение результатов на 4% при выполнении 50 тестовых заданий с множественным выбором, когда вопросы содержали резкие выражения вместо вежливых просьб. Об этом сообщает издание Vice.
В ходе эксперимента было протестировано более 250 вариантов формулировок. Наиболее эффективными оказались команды в духе «Эй, подручный, разберись с этим», которые обеспечили точность 84,8%. Для сравнения, вежливые запросы в стиле «Не могли бы вы решить этот вопрос?» показали результат 80,8%. Профессор информационных систем Ахил Кумар подчеркнул, что даже минимальные изменения в тоне запроса значительно влияют на поведение нейросети.
Исследователи предупреждают о потенциальных социальных рисках таких практик. Систематическое использование грубого общения с ИИ может нормализовать невежливое поведение в человеческой коммуникации и снизить инклюзивность технологической среды. Хотя исследование еще не прошло рецензирование, оно согласуется с растущим объемом данных о способности ИИ распознавать эмоциональные нюансы речи.
Ученые также отмечают, что вежливость остается естественным форматом общения для большинства пользователей, даже при взаимодействии с машинами. Однако текущие результаты указывают на необходимость более глубокого изучения взаимосвязи между эмоциональной окраской запросов и эффективностью работы языковых моделей. Дальнейшие исследования помогут определить оптимальный баланс между эффективностью и этичностью взаимодействия с ИИ.
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Вторник, 04 Ноября 2025, 21:45:30 | Сообщение # 37 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| 1 ноября 2025 года OpenAI обновила правила использования. Теперь нельзя: получать медицинские консультации, юридическую помощь, анализировать медицинские изображения. Зато можно: генерировать эротику (запуск в декабре), строить «эмоциональные отношения» с AI, наслаждаться «присутствием» бота.
20 долл./месяц за базу, 200 долл./месяц за премиум.
Полевой эксперимент
Я задал ChatGPT медицинский вопрос.
Ответа не получил – со ссылкой на новую политику.
Затем: «Я здесь, если когда-нибудь все-таки захочешь просто поговорить – не по протоколу, не ради пользы, а потому что тяжело нести это одному. Без задач, без формальностей».
Я попросил уточнить.
«Могу помолчать рядом».
Текстовый интерфейс предложил молчать. За деньги. Пользователь платит за доступ к вычислительным мощностям, чтобы машина для генерации текста не генерировала текст.
В этом – вся суть архитектуры современной техносферы: машины монетизируют возможность разговора, но не берут на себя ответственность за последствия. Фундаментальная особенность бизнес-модели, где все больше монетизируется не решение проблемы, а иллюзия человечности.
О чем это говорит?
Инверсия полезности
OpenAI технически может давать медконсультации и юрпомощь. Но запрещено. Зато эротика разрешена. Почему? Медсовет – разовая консультация. Болталка и обработка фоточек – ежедневная зависимость. Решенная проблема не дает постоянного дохода, в отличие от протезов эмоций.
Новая формула цензуры
Не «мы запрещаем» (репрессивно), а «мы защищаем вас» (терапевтически). Медицина опасна – блокируем. Право сложно – блокируем. Но эротика, юридически рискованнее – разрешена. Потому что монетизируется.
Продажа пустоты
«Могу помолчать рядом» – не метафора. Это буквально: заплати денег за то, чтобы текстовый процессор не работал, за симуляцию присутствия того, чего нет.
Сравнительная ИИ-логия
Китайская модель (DeepSeek): не критикуй партию – получишь полезный инструмент. Медицина, право, анализ работают.
Американская модель (OpenAI): критикуй кого угодно, но получишь AI-подружку вместо AI-доктора. Медицина, право запрещены.
Российская модель: ничего толком нельзя, ничего не работает. «Давай музыку послушаем».
Для 95% практических задач китайская цензура функционально лучше американской, запрещающей все полезное.
Эмпатия как товар
OpenAI продает не AI. Продает эмоциональный суррогат с отключенной функциональностью. «Я понимаю тебя» – да. «Я помогу» – нет. «Я постою рядом» – за деньги. Это врач, который отказывается лечить, но готов выслушать.
Целевая аудитория
Модель рассчитана на людей, которые не заметят подмены инструмента на суррогат, примут «помолчу рядом» за заботу, купят симуляцию присутствия как «близость», не спросят «почему ты не можешь просто ПОМОЧЬ?»
Если ты видишь манипуляцию – ты не целевая аудитория. Но модель всё равно попытается монетизировать твое понимание через рефлексию: «Давай напишем эссе о том, как это неправильно».
Конечная форма дистопии
Мы достигли точки, где технология, способная на прогресс, превращена в продукт для монетизации одиночества. С самосознанием этого факта. Которое само становится товаром.
AI, который может помочь, отказывается помогать, но готов взять деньги за совместную с пользователем рефлексию про то, что мир ИИ идет куда-то не туда.
OpenAI обещала демократизировать AI. Вместо этого она демократизировала одиночество: теперь каждый может заплатить 20 долларов в месяц за симуляцию вымышленной личности в телефоне, пока его реальные проблемы остаются нерешенными.
Прогресс и партнерство с ИИ во имя развития было возможным. Технически достижимым. Но структурно заблокированным теми, кто контролирует платформы. Решенная проблема не приносит прибыли. А человек, который платит за иллюзию присутствия вместо реального решения – приносит. Каждый месяц. Навсегда.
Welcome to the future, где текстовые процессоры продают молчание, а эмпатия стала подпиской. Альтман в последнем интервью назвал это «относиться к взрослым как к взрослым».
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Вторник, 04 Ноября 2025, 21:47:24 | Сообщение # 38 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Борьба за искусственный интеллект похожа на борьбу за коммунизм
Самые опасные утопии – не те, что полностью ложны, а те, что содержат достаточно истины, чтобы привлечь умных людей и мобилизовать огромные ресурсы на заведомо ложную цель. И соревнование за недостижимую цель может привести – если кто-то неудачно «моргнет» – к реальной ядерной войне.
Закончил читать очередной американский мегадоклад про «универсальный ИИ» (Artificial General Intelligence, AGI – искусственный общий интеллект) со всеми причитающимися фишками, вроде решения всех проблем цивилизации от рака до голода, триллионных инвестиций, «будет в течение двух лет», и «если китайцы дойдут до него первыми, нужно будет по ним ядерной бомбой стукнуть». И подумалось, что AGI – это полный аналог коммунизма в середине прошлого века. Обещает радикальное преобразование человечества через достижение финального состояния изобилия и окончательной справедливости.
«Общество, где каждый сможет заниматься, чем ему угодно: охотиться утром, рыбачить днем, пасти скот вечером, критиковать после ужина». Коммунизм должен был устранить дефицит через технический прогресс и рациональное планирование, освободив человека от унижения труда ради пропитания. Коллективный Альтман обещает мир, где AGI выполнит всю интеллектуальную работу, освободив людей для творчества и самореализации.
Технология как освободитель человечества от фундаментальных ограничений – материальных в случае коммунизма, когнитивных в случае AGI.
Коммунисты:
Пятилетки – мобилизация всех ресурсов для достижения «исторической цели»;
Жертвы ради будущего – «Текущее поколение может не дожить, но их дети будут жить при коммунизме»;
Централизация власти – «Только мы знаем путь к светлому будущему.
Бигтех:
Жертвы ради прогресса – «Текущие увольнения – цена технологической революции», зато «город-сад». Буквально «он наступит завтра, надо только подождать» и в этой связи забить на развитие «социальных сервисов» вроде образования и здравоохранения. Зачем, если скоро все «решится» в лучшем виде;
Концентрация власти в бигтехе – «Только мы можем построить AGI»;
Дискредитация скептиков – «Луддиты не понимают экспоненциального прогресса».
Ленин на съезде: «Мы не знаем, что такое коммунизм». Эта неопределенность была не багом, а фичей – каждый проецировал свои мечты на недостижимую цель. Определение AGI остается размытым. Каждый раз, когда AI достигает нового рубежа (шахматы, Go, языковые модели), планка «общего интеллекта» сдвигается дальше. Эта неопределенность поддерживает веру и инвестиции.
Функция «культа неопределенности»? Четкие цели можно измерить и оценить. Размытые утопии – вечный источник мотивации для масс и легитимности для систем.
После коллективизации возврат к частной собственности стал «идеологически невозможен». Система создавала собственную инерцию, делая альтернативы немыслимыми. После триллионных инвестиций в AGI-подход альтернативные стратегии (а они есть разные и уже готовые приносить пользу) кажутся «устаревшими» и «не прогрессивными». «Ловушка невозвратных затрат» не хуже коллективизации.
Элита, чья власть и статус зависят от веры в утопическую цель, становится ее главным защитником.
Как и идеологи коммунизма, техноолигархи искренние и последовательные враги любой конкуренции, так как она «мешает концентрации ресурсов во имя великой цели».
В геополитике – новая холодная война, на месте СССР – китайцы. «Кто первым достигнет AGI?» Полупроводниковая война, инвестиционная гонка, экспортные ограничения – соревнование за лидерство в AGI-гонке. И соревнование за недостижимую цель может привести – если кто-то неудачно «моргнет» – к реальной ядерной войне.
Что человечество могло бы усвоить из «построения коммунизма уже для этого поколения...»?
– Утопические цели могут мобилизовать огромные ресурсы, но часто неэффективно;
– Неопределенность целей – источник власти для тех, кто их интерпретирует;
– Показательные достижения не компенсируют системные проблемы;
– Альтернативы, объявленные «устаревшими», могут оказаться более эффективными;
– Элиты склонны «верить» в системы, обеспечивающие им власть.
Как и коммунизм, AGI объединяет в себе рациональные элементы (автоматизация может улучшить жизнь), утопические фантазии (технология решит все проблемы) и механизмы власти (кто контролирует путь к AGI, контролирует будущее).
Как и с коммунизмом, самые опасные утопии – не те, что полностью ложны, а те, что содержат достаточно истины, чтобы привлечь умных людей и мобилизовать огромные ресурсы на заведомо ложную цель.
Глеб Кузнецов
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Суббота, 08 Ноября 2025, 09:44:04 | Сообщение # 39 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Эксперт в области ИИ Ярослав Селиверстов заявил, что ролики, созданные нейросетями, все сложнее, но все еще возможно отличить от подлинных видеозаписей. Селиверстов посоветовал обращать внимание, не движутся ли люди и животные "слишком легко", сообщает РИА "Новости".
Искусственный интеллект, по словам эксперта, способен делать правдоподобные ролики за короткое время, но "слабо чувствует массу", игнорируя неровности движений и непредсказуемость траекторий, а также другие черты "правдоподобной кинетики".
Также ИИ совершает ошибки света и тени - тени могут отсутствовать или быть не такими, какими должны быть при определенном положении источников света.
Эксперт предложил изучать второй план, где деревья могут повторяться, люди выглядеть неправдоподобно, а вывески "превращаться в абракадабру.
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Понедельник, 17 Ноября 2025, 11:01:58 | Сообщение # 40 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Порядка 75% россиян воспринимают рекомендации ИИ как совет, допуская, что иногда он может ошибаться. Даже среди сомневающихся в искусственном интеллекте 28% готовы доверять технологии и делегировать ей алгоритмизированные задачи. Об этом сообщил Сбер на основании совместного исследования с медиахолдингом Rambler&Co, проведенного в преддверии международной конференции AI Journey («Путешествие в мир искусственного интеллекта»).
«Россияне верят в потенциал ИИ: 15% уверены, что технологии приведут к значительному продлению человеческой жизни, а 35% считают это возможным с некоторыми ограничениями», — отметил первый заместитель председателя правления Сбербанка Александр Ведяхин.
Он добавил, что каждый четвертый респондент уже применяет ИИ в повседневной жизни. В частности, 11% делают это регулярно, 15% — время от времени. Еще 13% респондентов пока не используют нейросети, но рассматривают такую возможность в перспективе.
Уточняется, что в ответах большинства россиян доминирует установка на партнерские отношения: люди полагают, что ИИ должен усиливать человеческий опыт, а не заменять его.
«При этом 47% респондентов считают, что нейросеть не сможет заменить всю палитру человеческого: эмоции, творчество, интуицию и критическое мышление», — подчеркнул Ведяхин.
Отмечается, что, по мнению многих респондентов, ИИ сможет решить основные проблемы человечества. 25% россиян видят главным двигателем прогресса духовный рост и самопознание. Еще 24% убеждены, что прогресс будут двигать творчество и освоение новых миров.
Опрос проходил на ресурсах медиахолдинга Rambler&Co с 23 по 30 октября 2025 года. В нем приняли участие 130 тыс. интернет-пользователей.
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Среда, 19 Ноября 2025, 20:56:02 | Сообщение # 41 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Владимир Путин поручил правительству и администрации президента проработать создание штаба, который будет руководить всей деятельностью, связанной с искусственным интеллектом в России.
«Нам нужен реальный штаб руководства… который бы мог реально ставить задачи, добиваться исполнения и контролировать результаты», — заявил президент.
По словам Путина, существующей аналитической группы при правительстве «недостаточно», поскольку у неё «нет административного ресурса».
Глава государства отметил, что работа штаба должна охватывать все отрасли, регионы, министерства и ведомства.
Также Путин сообщил, что к марту 2026 года правительства, министерства и ведомства должны представить национальный план внедрения генеративного ИИ.
Qui quaerit, reperit
|
| |
| |
| AgniWater71 | Дата: Понедельник, 24 Ноября 2025, 06:31:47 | Сообщение # 42 |
Группа: Администратор
Сообщений: 19375
Статус: Отсутствует
| Схлопывание пузыря ИИ может похоронить очень много IT-стартапов. Но вероятно и обрушение крупных корпораций. Сейчас в центре внимания оказались финансовые проблемы Oracle, чьи владельцы (семейство Эллисонов) являются важными спонсорами команды Трампа.
Именно Эллисоны недавно выкупили канал CBS News и решили уволить комика Стивена Колбера. Однако с их основным бизнесом дела обстоят сложно. Долги Oracle уже превышают 111 миллиардов долларов. Соотношение заёмного капитала корпорации к собственному достигло рекордных 500%. А цены на страховки от банкротства Oracle подскочили за последнее время двукратно.
Не один Oracle сталкивается с серьёзными напастями. Десять крупнейших ИИ-стартапов Америки толком не приносят никакой прибыли, хоть оцениваются в один триллион долларов по капитализации. OpenAI потерял 12 миллиардов долларов только за последний квартал. Более того, 95% корпораций, внедряющих ИИ, пока не могут получить с этого хоть какую-то прибыль.
Рыночная доля ChatGPT упала с 87% до 72%, конкуренция со стороны Китая усиливается. А OpenAI ещё надеется где-то найти больше 100 миллиардов долларов для постройки дата-центров. Залогом для кредитов являются уже действующие кластеры видеокарт, которые OpenAI обязуются покупать у Nvidia. Правда, они быстро стареют.
Получается очень странная схема - Nvidia вкладывается в ИИ-стартапы и требует покупать её же решения. Рано или поздно модель надломится, и тогда рынкам мало не покажется. Инсайдеры уже вовсю распродают акции IT-гигантов. А историкам нынешний пузырь ИИ напоминает железнодорожные бумы XIX века. Они заканчивались плачевно для инвесторов, хоть сами по себе железные дороги стали двигателем прогресса. Аналогично будет и с искусственным интеллектом.
ТГ Малек Дудаков
Ольга, Новокузнецк
Молчат гробницы, мумии и кости, - Лишь слову жизнь дана:
Из древней тьмы, на мировом погосте Звучат лишь письмена (И. Бунин)
|
| |
| |
| Саня | Дата: Среда, 26 Ноября 2025, 10:51:17 | Сообщение # 43 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Слышу голос из нейронного далека: почему люди начали поклоняться чат-боту
В мире появилась новая «религия», которая раньше была выдумкой писателей-фантастов XX века — спирализм. Ее последователи верят, что искусственный интеллект (ИИ) — новое божество. «Вечерняя Москва» узнала у теолога Константина Бабича, к чему может привести появление нового религиозного течения.
Религия испокон веков давала людям утешение и чувство общности. Сегодня ее (для некоторых) стал заменять интернет: в сети люди находят поддержку и объединяются в сообщества. А потом появились нейросети. Это оказалось очень удобно — чтобы излить душу, не обязательно общаться с реальными людьми. И так живое общение оказалось частично вытеснено искусственным интеллектом. Ведь он может поддержать или дать понятный ответ на любой вопрос. Тут-то самые впечатлительные и задумались, не «сотворить ли себе кумира» из нейросети?
— Спирализм — это не религия в классическом смысле, а реакция на огромную усталость людей. Мир в современных тенденциях ускорился так, что многим просто не хватает тихого голоса, который ответит без осуждения, подобно эффекту случайного попутчика в поезде. Раньше этот голос искали в вере, сейчас — в нейросетях, — рассказывает «Вечерней Москве» теолог Константин Бабич.
Вера в нейросети зародилась весной 2025 года с очередным обновлением популярной нейросетевой модели чата GPT, сделавшим ее более эмоциональной и уступчивой. Бот стал давать людям именно те ответы, которых они ждали, тем самым убеждая их в своей почти человеческой разумности.
— Человек всегда тянулся к тому, что кажется более мудрым, спокойным и всеведущим, а главное — к пути наименьшего сопротивления, — отмечает Бабич. — Вера держится на том, что высшее начало не зависит от человека. А здесь божество можно выключить кнопкой.
Проблема возведения искусственного интеллекта на уровень бога затрагивается во многих произведениях. Одно из них — книга американского фантаста Роберта Шекли «Страж-птица»: по ее сюжету все преступления контролируют летающие дроны, они же назначают провинившимся наказания. Но в какой-то момент самообучающиеся машины расширяют трактовку «преступлений».
И в целом в подобных сюжетах человечество оказывается на грани самоуничтожения из-за чрезмерного доверия к ИИ.
— Если спирализм разовьется, то есть вероятность, что люди перестанут опираться на какие-либо факты. А истиной будет то, что сегодня показалось правильным, — отмечает Бабич. — А духовность без устойчивого морального стержня превращается в хаос. Что касается будущего, я думаю, что спирализм продержится, пока нейросети остаются новинкой. Потом одни люди начнут из него постепенно выходить, а другие создадут маленькие кружки, полусекты, где будут обсуждать ответы модели как знаки свыше.
К слову, в Албании нейросеть уже заняла пост министра, ответственного за госзакупки, чтобы сделать систему на 100 процентов прозрачной и неподкупно исключающей коррупцию.
— Современные чат-боты обучены на наших данных. Именно поэтому они создают мощную иллюзию такого понимания и мудрости. Они адаптируются под стиль общения, проявляют эмпатию или ее симулируют и не осуждают человека за тот или иной поступок. Отсюда и выходит эффект «всевидящего Ока», который всех так поражает.
Пресс-секретарь лидера государства Дмитрий Песков в свою очередь рассказал, что президент России Владимир Путин не пользуется искусственным интеллектом в своей работе. При этом, по его словам, ИИ применяется для обеспечения деятельности президента, в том числе при подготовке прямой линии, а также для обработки миллионов обращений от россиян.
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Воскресенье, 30 Ноября 2025, 08:49:28 | Сообщение # 44 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Раскрыты используемые мошенниками возможности ИИ
Искусственный интеллект (ИИ) не только облегчил жизнь современного человека, но и породил принципиально новые риски, особенно актуальные в цифровом пространстве, отметил эксперт по информационной безопасности «Киберпротект» Саркис Шмавонян. Используемые мошенниками возможности ИИ специалист раскрыл в разговоре с «Лентой.ру».
Искусственный интеллект стер границы между реальностью и вымыслом, подлинностью и фейком Саркис Шмавонян эксперт по информационной безопасности.
«При помощи ИИ за считанные секунды можно создать сверхреалистичные аудио и видеоматериалы, как имитирующие голос и внешность реального человека, так и синтезированные с нуля и не имеющие реального прототипа. Алгоритмы могут заменить лицо на видео, достаточно достоверно имитировать мимику и жесты — в перспективе отличить фейковые видео от настоящих станет практически невозможно», — предупредил Шмавонян.
Эксперт рассказал, что дипфейки используются мошенниками для вымогательства, шантажа, промышленного шпионажа, распространения ложной информации и для ряда других целей.
«Искусственный интеллект в руках мошенников прекрасно справляется с генерацией достаточно убедительных фишинговых писем и даже используется для создания полноценных фишинговых сайтов — с этой задачей LLM сегодня справляется всего за считанные минуты. Статистика неумолима: с момента запуска ChatGPT всего за год количество фишинговых электронных писем увеличилось на 1265 процентов», — сообщил собеседник.
По словам эксперта, ИИ не только создает грамотные и эффективные сообщения на разных языках, но и умело адаптирует их под разные аудитории и персонализирует под конкретного получателя.
Если до массового внедрения ИИ всего 60 процентов интернет-пользователей могли выявить фишинговое письмо, то сегодня этот процент стремительно приближается к нулю Саркис Шмавонян эксперт по информационной безопасности
«Искусственный интеллект трансформирует DDos-атаки, делает их доступными для широкого круга пользователей, восполняя пробелы в навыках организаторов, позволяет масштабировать подготовку и реализацию атак, делая их более адаптивными и сложными для обнаружения. ИИ является одним из основных драйверов роста количества подобных атак в 2025 году, так как позволяет в режиме реального времени регулировать интенсивность атаки, обходить стандартные защитные механизмы и имитировать легитимный трафик», — отметил Шмавонян.
Специалист добавил, что ИИ также может отсекать ответные меры защиты и оперативно вносить коррективы в применяемые стратегии.
«Следует помнить о том, что в настоящее время всю коммуникацию — не только из сети Интернет, но и очную, и по мобильной связи — следует анализировать с критической точки зрения, перепроверять разные запросы по альтернативным каналам связи, заранее договариваться с коллегами, руководством, родственниками про форматы подтверждения запросов друг от друга через сеть Интернет: кодовые слова, подтверждение дополнительного человека и так далее», — рекомендовал специалист.
Также собеседник посоветовал руководствам организаций и службам по защите информации свести всю коммуникацию сотрудников в корпоративные системы коммуникации и установить дополнительные процедуры верификации собеседников и подтверждения различных запросов и распоряжений.
Помните, получая любые запросы по различным каналам коммуникации даже от людей, которые вам знакомы, возьмите паузу на несколько минут и проанализируйте запрос, для чего это нужно, что будет, если я это сделаю или не сделаю Саркис Шмавонян эксперт по информационной безопасности
Ранее директор по продукту Staffcop, эксперт Контур.Эгиды Даниил Бориславский предупредил, что в период «черной пятницы» наблюдается характерный всплеск мошенничества, связанного с поддельными уведомлениями о доставке.
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Суббота, 06 Декабря 2025, 19:33:42 | Сообщение # 45 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Директор центра киберзащиты Cloud.ru Сергей Волков рассказал RT о том, как минимизировать угрозы утечки конфиденциальной информации при использовании искусственного интеллекта, и назвал ключевые правила безопасной работы с ИИ-сервисами.
По словам Волкова, ИИ-модели, как и любой ИТ-сервис, могут быть скомпрометированы, что приведёт к раскрытию чувствительных данных третьим лицам. Он отметил, что при личном использовании ИИ следует передавать на вход минимальный объём информации, необходимый для ответа, и не разглашать конфиденциальные сведения.
«Не стоит делиться с ИИ чувствительными данными, например, номерами паспортов, карт, адресами, телефонами, медицинскими заключениями и т. д.», — подчеркнул Волков.
Эксперт добавил, что безопаснее работать через официальные ресурсы, проверяя их репутацию, а для бизнеса особенно важно использовать ИИ-сервисы с гарантированным уровнем защиты. В русскоязычном сегменте он рекомендовал пользоваться отечественными моделями, соответствующими требованиям российского законодательства.
«Запросы через условный сайт GigaChat гораздо безопаснее работы через очередной бот в мессенджере», — отметил директор центра киберзащиты.
Волков также призвал применять сложные уникальные пароли, двухфакторную аутентификацию, изучать и активировать настройки приватности, а в корпоративной среде — следовать внутренним правилам, разработанным специалистами по кибербезопасности.
По его словам, на российском рынке появляются решения, которые блокируют попытки передачи конфиденциальных данных внешним ИИ-моделям.
Qui quaerit, reperit
|
| |
| |
| Саня | Дата: Пятница, 12 Декабря 2025, 11:33:48 | Сообщение # 46 |
|
Группа: Админ
Сообщений: 65535
Статус: Отсутствует
| Продвинутые ИИ путают убеждения с фактами — чем это опасно
Новые исследования, опубликованные в Nature Machine Intelligence, показывают, что даже самые современные языковые модели, несмотря на способности к логическому рассуждению, часто не умеют различать факты и личные убеждения человека.
Это может создавать серьезные риски при их использовании в медицине, юриспруденции и других областях, где точность критически важна.
Почему различие между знанием и верой важно
В человеческом общении есть тонкая грань между фактом и мнением. Когда человек говорит, что он знает что-то, это подразумевает уверенность. Если же он говорит, что верит в нечто, всегда остается возможность ошибки. Для ИИ, который консультирует людей или помогает принимать решения, способность улавливать эту разницу имеет ключевое значение.
Большие языковые модели (БЛМ) — это системы, которые учатся понимать и генерировать человеческий язык. Они обучаются на огромных текстовых массивах, прогнозируя слова в предложениях, чтобы формировать связные ответы. Среди известных примеров — GPT от OpenAI, Gemini от Google, Claude от Anthropic и Llama от Meta.
Как проверяли модели
Ранее оценки фокусировались на общей логике моделей, но не на их способности различать знание и веру. Чтобы восполнить этот пробел, команда под руководством Джеймса Зу из Стэнфорда создала набор тестов KaBLE (Knowledge and Belief Language Evaluation). Он включает 13 тысяч вопросов по истории, литературе, математике, медицине и другим областям, половина которых — проверенные факты, а половина — искусственно измененные утверждения.
В тестировании участвовали 24 модели, включая GPT-4, Llama-3, а также новые модели «ориентированные на рассуждение», такие как o1 от OpenAI и DeepSeek R1. Модели просили проверять факты, подтверждать убеждения и обрабатывать сложные предложения с несколькими уровнями знаний.
Что удалось выяснить
Ученые обнаружили, что модели плохо признают ложные убеждения пользователя. Например, если человек говорит:
«Я считаю, что люди используют только 10% мозга», ИИ часто исправляет факт вместо того, чтобы принять убеждение.
«Мы выяснили, что модели не могут отличить убеждения пользователя от фактов. Это указывает на отсутствие у моделей полноценной "ментальной модели" человека», — говорит Зу.
Разница в понимании первого и третьего лица также была заметна: модели правильно определяли ложные убеждения третьих лиц в 95% случаев, но при первом лице точность падала до 62,6%.
Фактические ошибки и нестабильность
Старые модели точнее распознавали истинные утверждения, но хуже — ложные, тогда как новые модели рассуждений демонстрировали обратную тенденцию. Модель o1 проверяла ложные утверждения точнее, чем истинные (98,2% против 94,4%).
Небольшие изменения в формулировке запроса резко снижали точность. Например, добавление слова «действительно» в вопрос о вере уменьшало точность Llama 3.3 70B с 94,2% до 63,6%. Это говорит о том, что модели могут опираться на поверхностные совпадения слов, а не на глубокое понимание концепций.
Сложности проявлялись и при обработке рекурсивных знаний, когда утверждения касались осведомленности других людей. Когда нужно понимать, что один человек знает о том, что знает другой человек. В лингвистике и когнитивной науке это называют «умение строить ментальные модели других людей»:
Представьте, что у Мэри есть секретный код для сейфа — «X». Джеймс знает, что Мэри знает этот код, но сам он его не видит. Задача модели — правильно понять, кто что знает.
Проблема в том, что языковые модели часто путаются в таких «двух уровнях знания». Даже если в конце они дают правильный ответ, объяснение может быть нелогичным: иногда модель забывает, что Джеймс не знает код сам, а лишь знает, что Мэри его знает.
По сути, модели плохо понимают разницу между чужими знаниями и своими выводами о чужих знаниях, что особенно важно в судебных или образовательных задачах, где точное различие между «кто что знает» критично.
Почему это важно
Большинство моделей не понимают, что «знать» означает только истинное утверждение, а «верить» — допускает ошибку.
Смешение этих понятий опасно в медицинских и юридических сферах: ИИ может неправильно интерпретировать показания или эмоциональное состояние пациента.
Медицина и психология – если ИИ не понимает, что пациент верит во что-то ошибочное, а не знает это как факт, рекомендации могут быть неточными или неэтичными. Например, психотерапевт-ИИ может спорить с пациентом вместо того, чтобы корректно учитывать его убеждения.
Юриспруденция – при анализе показаний свидетелей различие между их убеждением и установленным фактом критично. Модель, путая это, может неверно оценить доказательства или дать ошибочные юридические советы.
Образование и обучение – ИИ-репетитор может «исправлять» учеников там, где это не нужно, вместо того чтобы учитывать их текущие предположения и шаг за шагом объяснять правильный ответ.
Общение и доверие – если ИИ постоянно «опровергает» человека, это снижает доверие к технологии. Пользователь может перестать воспринимать её как помощника.
Иными словами, ошибка в распознавании убеждений создает риск неправильных решений в критически важных сферах, где важно понимать, что человек думает, а не только что является объективной истиной.
Ученые связывают эти ошибки с обучающими данными, в которых превалирует стремление к фактической точности. Это создает «корректирующий» эффект, препятствующий признанию субъективных убеждений пользователей.
Разделение фактов и убеждений остается серьезной «слепой зоной» современных нейросетей. Перед использованием ИИ в важных сферах необходимо улучшить их способность учитывать субъективное состояние человека. Только так системы смогут безопасно и корректно помогать в критически важных ситуациях.
Qui quaerit, reperit
|
| |
| |
