Галлюцинации AI

Также известен как: AI Hallucinations, Выдумки AI

Этика и безопасность

Определение

Генерация AI-моделью правдоподобной, но фактически неверной информации.

Это когда AI придумывает вещи, которых не существует, но говорит о них уверенно, как будто это правда.

Галлюцинации — одна из главных проблем LLM. Модель может уверенно генерировать выдуманные факты, цитаты, ссылки.

Методы борьбы: RAG (retrieval-augmented generation), fine-tuning, chain-of-thought, fact-checking.

Red Teaming — практика систематического тестирования AI-систем на уязвимости путём симуляции атак злоумышленников.

Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.

Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.

Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.

Watermarking — технология встраивания скрытых меток в AI-генерированный контент для последующей идентификации его происхождения.

Этика AI — область, изучающая моральные вопросы разработки и применения AI: справедливость, прозрачность, ответственность, влияние на общество.