Искусственный интеллект часто сталкивается с двумя основными типами ошибок — так называемыми «галлюцинациями» и уязвимостями, вызванными манипуляцией данными. Об этом «Ленте.ру» сообщил преподаватель кафедры инструментального и прикладного программного обеспечения Института информационных технологий РТУ МИРЭА Андрей Рыбников.
По словам эксперта, «галлюцинации» возникают, когда нейросеть генерирует правдоподобную, но полностью вымышленную информацию. Это не сознательный обман, а следствие работы модели, которая предсказывает наиболее вероятную последовательность слов. В результате ИИ может, например, указать в биографии ученого несуществующие награды или создать код с неработающими функциями.
Другая распространенная проблема — взлом промтов, когда специально составленный запрос заставляет модель игнорировать свои внутренние ограничения. Это доказывает, что ИИ в этом состоянии можно обмануть через тонкую манипуляцию контекстом.
Рыбников добавил, что минимизировать ошибки можно с помощью правильно составленных запросов. Они должны быть конкретными, содержать контекст и четкие критерии.
Ранее эксперт Алексей Лукацкий заявил, что популярные нейросети собирают данные о пользователях.
Свежие комментарии