Halucinace AI.

Halucinace jsou jedním z nejdůležitějších omezení současných velkých jazykových modelů. Protože LLM fungují na principu statistické predikce dalšího slova, mohou generovat text, který zní přesvědčivě, ale obsahuje smyšlené fakty, neexistující citace, vymyšlené události nebo chybné závěry.

Halucinace vznikají z několika důvodů: model se snaží vyplnit mezery ve svých znalostech, tréninkový dataset obsahoval chybné informace, nebo je prompt formulovaný tak, že model tlačí k odpovědi, i když správná odpověď není k dispozici. Zvláště nebezpečné jsou halucinace v odborných oblastech – právu, medicíně nebo financích.

Pro minimalizaci halucinací je důležité ověřovat výstupy AI z nezávislých zdrojů, používat techniky jako RAG (Retrieval-Augmented Generation), které modelu poskytují aktuální a relevantní data, a naučit se rozpoznávat situace, kde je model méně spolehlivý. Kvalitní prompt engineering také výrazně snižuje riziko halucinací.