Nepriama injekcia
Útoky, pri ktorých AI model spracuje externý obsah (web, e-mail) obsahujúci skryté príkazy. Tento typ útoku je najčastejšou príčinou exfiltrácie dát v podnikových systémoch využívajúcich RAG (Retrieval-Augmented Generation).
Denník
zraniteľností
Technický register vektorov útokov, únikov dát a systémových chýb v prostrediach umelej inteligencie. Dokumentácia bezpečnostných incidentov v reálnom čase.
Analýza rizík LLM
Veľké jazykové modely (LLM) predstavujú nový povrch pre kybernetické útoky, ktorý sa líši od tradičných softvérových zraniteľností. Problém nespočíva len v kóde, ale v samotnej povahe spracovania prirodzeného jazyka. Útočníci využívajú sémantické nejasnosti na obídenie bezpečnostných filtrov, čo vedie k neautorizovanému prístupu k interným databázam.
Naša dokumentácia sa zameriava na identifikáciu slabých miest v integračných vrstvách, kde sa AI spája s podnikovou infraštruktúrou. Každý záznam v tomto denníku slúži ako technický základ pre vývoj robustnejších obranných mechanizmov a lepšiu anonymizáciu vstupov.
Bezpečnostný auditŠtatistika Prompt Injection útokov
Jailbreaking
Metódy využívajúce sociálne inžinierstvo na prinútenie modelu ignorovať svoje etické a bezpečnostné smernice. Často zahŕňa komplexné hranie rolí alebo kódovanie príkazov do iných jazykov či šifier.
Data Poisoning
Manipulácia s tréningovými dátami alebo spätnou väzbou, ktorá vedie k postupnému znižovaniu presnosti modelu alebo vytvoreniu vopred definovaných zadných vrátok pre budúcich útočníkov.
Technické hrozby v praxi
1. Exfiltrácia kontextového okna
Tento vektor útoku sa zameriava na získanie informácií, ktoré sú uložené v krátkodobej pamäti modelu počas konverzácie. Útočník navrhne sériu otázok, ktoré nútia model sumarizovať predchádzajúce systémové inštrukcie vrátane API kľúčov alebo interných ciest k súborom.
Prevencia vyžaduje striktné oddelenie systémových inštrukcií od používateľského vstupu pomocou špeciálnych tokenov. Odporúča sa tiež implementovať lokálnu inštaláciu modelov pre kritické operácie, kde je riziko úniku neprijateľné.
"Najväčšou zraniteľnosťou moderných AI systémov nie je nedostatok šifrovania, ale nekontrolovaná dôvera k sémantickému vstupu, ktorý model interpretuje ako vykonateľný kód."
2. Model Inversion Attacks
Pri tomto type útoku sa útočník snaží spätne získať tréningové dáta na základe výstupov modelu. Ak bol model trénovaný na citlivých medicínskych alebo finančných záznamoch, je možné pomocou tisícok cielených dopytov zrekonštruovať pôvodné osobné údaje.
- Rekonštrukcia tvárí z biometrických databáz
- Identifikácia unikátnych mien v tréningovom sete
- Odhalenie špecifických obchodných tajomstiev vložených do jemného ladenia (fine-tuning)
Register incidentov úniku dát
| ID Incidentu | Vektor útoku | Závažnosť | Stav |
|---|---|---|---|
| CVE-AI-2024-01 | Prompt Injection cez PDF parser | Kritická | Opravené (V3.2) |
| CVE-AI-2024-08 | Exfiltrácia systémových promptov | Vysoká | V riešení |
| CVE-AI-2023-44 | Inverzia modelu pri API dopytoch | Stredná | Monitorované |
| CVE-AI-2024-12 | Pretečenie kontextovej pamäte | Kritická | Aktívne |
Poznámka: Tento register je pravidelne aktualizovaný na základe hlásení z komunity a vlastného výskumu. Pre podrobné inštrukcie o nastavení bezpečnosti navštívte sekciu nastavenia súkromia v ChatGPT.
Zabezpečte svoju infraštruktúru
Nečakajte na incident. Implementujte overené postupy pre prácu s umelou inteligenciou v podnikovom prostredí už dnes.