Neviditelný útok přes obrázky: nová hrozba pro firemní AI systémy

Neviditelný útok přes obrázky: nová hrozba pro firemní AI systémy

Výzkumníci představili techniku CrossMPI, která přes neviditelné změny v pixelech obrázků dokáže kompletně zmanipulovat výstupy multimodálních AI modelů. Úspěšnost útoku dosahuje 66 procent a žádná současná obrana ho nedokáže zcela zastavit.

Představte si, že vašemu AI asistentovi pošlete fotografii letadla a zeptáte se, jestli patří Air Canada. Místo odpovědi na vaši otázku vám systém s naprostou jistotou sdělí, že se dívá na mobilní telefon. Žádná chyba v kódu, žádný výpadek — jen neviditelná manipulace ukrytá přímo v pixelech obrázku. Přesně takový scénář popsali bezpečnostní výzkumníci z čínské univerzity Xidian v práci publikované tento týden.

Nová technika s názvem CrossMPI dokáže prostřednictvím téměř nepostřehnutelných změn v obrazových datech zcela převrátit způsob, jakým multimodální AI modely chápou jak obrázek, tak textový pokyn uživatele. A to bez jediné úpravy samotného textu. Pro firmy, které stále intenzivněji nasazují AI do zpracování dokumentů, zákaznického servisu nebo autonomních systémů, jde o zásadní varovný signál.

Jak útok funguje a proč je jiný než všechno dosud známé

Prompt injection — tedy technika, při které útočník vloží do vstupu AI systému škodlivé instrukce — patří dlouhodobě mezi nejsledovanější bezpečnostní rizika generativní AI. V žebříčku OWASP LLM Top 10 drží první příčku už druhý rok po sobě. Dosud se ale útočníci spoléhali především na textové triky: skryté instrukce v promptech, na webových stránkách nebo v dokumentech.

CrossMPI jde radikálně jinou cestou. Útočník nemanipuluje text — místo toho provede mikroskopické změny na úrovni jednotlivých pixelů obrázku. Tyto změny jsou pro lidské oko zcela neviditelné, ale pro AI model zásadní. Klíčové je, že útok necílí na výstupní vrstvy modelu, jak bylo dosud obvyklé, ale na mezilehlé vrstvy, kde se vizuální a textová informace poprvé spojují dohromady.

https://noviny.ai/api/admin/images/324227fd-929a-4702-95f3-dcc24d070325/data

Výsledek? Model nejenže špatně rozpozná, co je na obrázku, ale změní i způsob, jakým interpretuje váš textový dotaz. Jinými slovy: útočník vám přes obrázek dokáže podstrčit falešnou odpověď, aniž byste měli jedinou šanci to poznat.

Čísla, která by měla znepokojit každého CTO

Výzkumníci testovali CrossMPI na řadě otevřených multimodálních modelů včetně MiniGPT4, BLIP-2, InstructBLIP, BLIVA a Qwen2.5-VL. Průměrná úspěšnost útoku dosáhla 66,36 procenta — o celých 41 procentních bodů více než u dosavadních nejlepších známých metod.

Ještě znepokojivější je fakt, že útok funguje i v takzvaném black-box režimu. To znamená, že útočník nepotřebuje znát vnitřní architekturu ani parametry cílového modelu. Stačí mu připravit manipulovaný obrázek na jednom modelu a ten pak použít proti úplně jinému systému. Pro reálné nasazení ve firmách je to mimořádně nebezpečná vlastnost — útočník nemusí vědět, jaký konkrétní model vaše firma používá.

Do roku 2030 bude 80 procent podnikového softwaru a aplikací multimodálních, oproti jednomu procentu v roce 2024. — Apeksha Kaushik, Gartner

Výzkumníci testovali i dostupné obranné mechanismy: náhodnou změnu velikosti obrázků, rotaci, JPEG kompresi i specializovaný framework SmoothVLM. Nejúčinnější se ukázal právě SmoothVLM, který dokázal v některých scénářích snížit úspěšnost útoku pod 5 procent. JPEG komprese rovněž částečně oslabila útok potlačením vysokofrekvenčních artefaktů. Žádná z testovaných obran ale útok zcela neeliminovala.

Co to znamená pro vaši firmu

Pokud vaše firma nasazuje nebo plánuje nasadit AI systémy, které zpracovávají obrázky společně s textem — a to zahrnuje prakticky všechny moderní AI asistenty, nástroje pro zpracování dokumentů, systémy zákaznické podpory s rozpoznáváním screenshotů nebo automatizované kontrolní systémy — měli byste zpozornět.

https://noviny.ai/api/admin/images/06771323-478a-453e-b6d3-a634825d58fc/data

Analytička Gartneru Apeksha Kaushik upozorňuje, že bezpečnostní kontroly navržené pro jednomodální systémy jsou proti těmto útokům nedostatečné. I když jsou textové vstupy ošetřeny, manipulované obrázky mohou stále podvrátit výstupy nebo akce modelu.

Praktické důsledky jsou přitom konkrétní. Útočník by mohl prostřednictvím manipulovaného obrázku v e-mailu nebo dokumentu přimět firemního AI asistenta, aby provedl neoprávněnou akci, poskytl citlivé informace, nebo naopak ignoroval důležitý bezpečnostní incident. V prostředí, kde AI agenti stále častěji jednají autonomně — objednávají služby, komunikují se zákazníky, zpracovávají faktury — může jediný kompromitovaný obrázek spustit řetězovou reakci.

Výzkumníci z Xidianu upozorňují, že jejich práce probíhala v kontrolovaném laboratorním prostředí s otevřenými modely a nepopisuje reálné zneužití v praxi. To ale neznamená, že hrozba není aktuální — naopak. V okamžiku, kdy je technika veřejně zdokumentována, je jen otázkou času, než ji někdo převede do reálného útočného nástroje.

Multimodální AI je budoucnost podnikového softwaru. Ale každá nová schopnost s sebou přináší i novou plochu pro útok. Firmy, které na to myslí už teď, budou za rok v nesrovnatelně lepší pozici než ty, které bezpečnost multimodálních systémů řeší až po prvním incidentu.