Nepřátelské strojové učení, anglicky Adversarial machine learning, je označuje jak útoky na algoritmy strojového učení, tak též, jak se proti takovým útokům bránit. Jedná se o metodu strojového učení, jejímž cílem je oklamat modely strojového učení zadáním klamných vstupních údajů nebo vložení algoritmů do dané sítě. Zahrnuje jak generování, tak detekci adverzních příkladů, což jsou vstupy speciálně vytvořené k oklamání klasifikátorů. Takové útoky jsou prozkoumané například je klasifikace obrázků a detekce spamu či v ovládání hlasových asistentů.
Většina technik strojového učení je obvykle navržena tak, aby fungovala na konkrétních sadách problémů, přičemž se předpokládá, že trénovací a testovací data jsou generována ze stejného statistického rozdělení (IID). Tento předpoklad je však často nebezpečně porušován v praktických aplikacích s vysokým rizikem, kde uživatelé mohou záměrně poskytovat vymyšlené údaje, které porušují statistický předpoklad.
Typy útoků Některé z nejběžnějších útoků v nepřátelském strojovém učení zahrnují únikové útoky, útoky na otravu dat, byzantské útoky a extrakci modelu.
Neuronové sítě Základní útok v prostředí neuronových sítí je metoda rychlého gradientního označení (FGSM). Průzkum z května 2020 odhaluje skutečnost, že odborníci z praxe hlásí naléhavou potřebu lepší ochrany systémů strojového učení v průmyslových aplikacích. Existují i další typy útoků, které lze volně popsat čtyřmi kategoriemi:
Útoky typu bílá skříňka (white box) jsou nejsnáze proveditelné, protože mají plnou znalost parametrů modelu. To znamená, že útočník má plnou znalost θ a může využít informace o gradientu k vytvoření nepřátelských příkladů. Jak jste již možná uhodli, takovou metodou je FGSM. Útoky typu černá skříňka (black box) jsou na druhou stranu podstatně obtížnější. V tomto případě útočník nemá informace o parametrech modelu, ani k nim nemá přístup ve fázi trénování. To znamená, že při určování škodlivých příkladů nelze použít žádné informace o gradientu. Model však buď vypisuje skóre důvěryhodnosti pro každou třídu, nebo ještě hůře, pouze předpovězené štítky.Bhambri, Siddhant; Muku, Sumanyu; Tulasi, Avinash; Buduru, Arun Balaji (2019): A Survey of Black-Box Adversarial Attacks on Computer Vision Models Necílený útok mění intenzitu pixelu tak, aby se snížila důvěryhodnost původní třídy, dokud už nebude v predikčním vektoru největší. Nezajímá je, která třída by měla být predikována místo ní, ale jednoduše se snaží model oklamat. Cílené útoky jsou pokročilejší a snaží se narušit vstup směrem k definované cílové třídě y'. Jinými slovy, způsobí, že model chybně interpretuje vstup jako útočníkem požadovanou třídu.
Související články Rozpoznávání vzorů Fawkes (software pro maskování obrazu) Generativní nepřátelská síť
Reference
Kategorie:Umělé neuronové sítě Kategorie:Počítačové exploity a zranitelnosti Kategorie:Počítačové útoky