Prompt injection.
Prompt Injection
Bezpečnostní útok, při kterém se útočník snaží přepsat nebo obejít instrukce AI modelu vložením škodlivých pokynů do uživatelského vstupu.
Prompt injection je jedna z nejvýznamnějších bezpečnostních hrozeb při nasazování AI v produkčních systémech. Princip je podobný SQL injection v databázích – útočník se snaží vložit do vstupu instrukce, které změní chování AI modelu. Například zákaznický chatbot s přístupem k interním datům by mohl být zmanipulován k vyzrazení citlivých informací.
Existují dva hlavní typy: přímý prompt injection, kde útočník přímo zadává škodlivé instrukce do chatu, a nepřímý prompt injection, kde jsou škodlivé instrukce skryté v dokumentech nebo webových stránkách, které AI zpracovává. Nepřímý typ je zákeřnější, protože útočník nemusí mít přímý přístup k AI systému.
Ochrana proti prompt injection je klíčová při budování firemních AI řešení. Zahrnuje sanitizaci vstupů, oddělení systémových a uživatelských instrukcí, omezení přístupu AI k citlivým datům a průběžné testování odolnosti. Při implementaci AI pro klienty je bezpečnost vždy jedním z prvních témat, která řešíme.
Chcete toto téma řešit v praxi?
Pomohu vám s implementací, školením nebo konzultací. Vyberte si, co vám vyhovuje.
Související pojmy.
Prompt
Textový pokyn nebo instrukce zadávaná AI modelu pro získání požadované odpovědi. Kvalita promptu přímo ovlivňuje kvalitu výstupu.
Zjistit vícePrompt EngineeringSystémový prompt
Skrytá instrukce, která nastavuje chování, roli a pravidla AI modelu ještě předtím, než uživatel zahájí konverzaci.
Zjistit víceAI AgentiAI Agent
Autonomní systém poháněný umělou inteligencí, který dokáže samostatně plánovat kroky, používat nástroje a plnit složité úkoly bez průběžného lidského dohledu.
Zjistit víceAI AgentiAPI
Rozhraní, které umožňuje různým softwarovým aplikacím komunikovat mezi sebou. V kontextu AI slouží k programovému přístupu k jazykovým modelům a jejich integraci do vlastních aplikací.
Zjistit více