Vyšší dostupnost a uživatelsky přívětivější nástroje umělé inteligence mohou pomáhat útočníkům zejména v přípravě phishingových útoků, říká Vladimíra Žáčková ze společnosti ESET.
S ChatGPT, ale ani jinými alternativními nástroji, se nedoporučuje sdílet citlivá data. Jakým způsobem může dojít k jejich zneužití?
Především jde o sdílení citlivých informací přímo v AI nástrojích, tedy se samotným provozovatelem modelu. Je třeba si uvědomit, že umělá inteligence nejen inteligentně vytváří působivé výstupy, ale také analyzuje vstupní data a navždy je ukládá. Data generovaná z našich vyhledávání na Googlu mohou být sporadická a obecná, ale chatboti se stávají osobnějšími, aby se od nás dozvěděli více. Model se na našich datech dále učí a zařazuje je do svého tréninkového setu, takže při pokládání správných otázek se z něj dají tato data zpětně získat. To může vést např. při používání zaměstnanci k poškození reputace nebo ztrátě výhod v oblasti firemního know-how.
Dále také nevíme, co přesně se s daty dále děje, jakým způsobem jsou zpracovávána a jestli nejsou prodávána třetí straně – podmínky používání těchto služeb jsou zatím velice obecné, aby právě toto umožnovaly. I proto nedoporučujeme sdílet citlivá data ani s ChatGPT. Lepším řešením je žádat si tvorbu vzorů například životopisů nebo smluv a ty si následně vlastnoručně rozšířit a doplnit.
Stejnou lekci už jsme utržili v minulosti v případě používání sociálních sítí. Tam jsme také dříve zadávali obrovské množství osobních údajů, aniž bychom si uvědomovali, jakými způsoby se dají dále využít nebo zpeněžit a zjistili jsme to až v moment, kdy už k tomu docházelo.
Má rychlý nástup AI dopad na množství a podobu phishingových útoků?
Předpokládáme rychlý nárůst kvality i kvantity phishingových útoků. Tento náš předpoklad potvrzují i nejnovější data, kde vidíme rapidní nárůst scamů a phishingu v desítkách procent.
Jednodušší pro útočníky navíc bude vytvářet jazykové mutace útoků, a to zejména v zemích, jejichž jazyky nebyly tolik rozšířené, včetně češtiny, a pro útočníky, tak nebylo lehké v nich vytvořit uvěřitelný obsah.
Jaké jsou hlavní výzvy spojené s bojem proti dezinformacím generovanými velkými jazykovými modely?
S použitím generativní umělé inteligence lze dezinformace generovat výrazně jednodušeji a ve větším objemu. Problémem začnou být také obrázky, videa a audio obsah, který se dá s pomocí AI vygenerovat v o mnoho vyšší kvalitě a je na první pohled těžké rozeznat, že jde o podvod. Zároveň bude vznikat i mnoho misinformací, tedy chybného obsahu, který vytvoří uživatel za použití generativní umělé inteligence, ale nebude ověřovat jeho přesnost.
Za zmínku stojí i tzv. AI halucinations – ChatGPT a ostatní nástroje poháněné LLM mají tendenci vymýšlet si obsah, protože se snaží odpovědět, i přesto že nemají dostatek informací/dat k dané otázce. Jednodušší tedy pro ně je si odpověď celou vymyslet.
Přispíváte jako společnost k osvětě společnosti v oblasti bezpečnosti v online prostoru?
Určitě ano, dlouhodobě razíme tezi, že edukace je důležitá skrze příklady, které komunikujeme na různé cílové skupiny. Komunikaci máme rozdělenou pro více segmentů a k tomu jsou určeny i jednotlivé weby. Na webu Dvojklik.cz edukujeme širokou veřejnost, pro oblast B2B máme Digital Security Guide a v neposlední řadě Safer Kids Online, což je projekt zaměřený na bezpečí dětí na internetu.
Dále každý měsíc vydáváme video, ve kterém informujeme o novinkách ve světě digitální bezpečnosti a upozorňujeme na případy největších kybernetických útoků, které se objevily. Nedávno jsme se také věnovali úniku dat v souvislosti s AI. Další platformou je náš podcast TruePositive, kde se bavíme přímo o kybernetických útocích.
Jak může běžný uživatel rozpoznat a chránit se před škodlivým kódem vytvořeným s pomocí umělé inteligence?
Uživatel takový kód téměř nemá šanci rozpoznat. Dobrá zpráva je, že generativní AI zatím nedokáže vytvořit kvalitní malware, který by obcházel detekce. Naopak většinou je kvalita takto vytvořeného škodlivého kódu poměrně nízká, častokrát vygenerovaný kód ani nefunguje, obsahuje chyby a pro útočníka bez technických znalostí a zkušeností je těžké ho efektivně použít. Zároveň i AI zatím stále opětovně používá pouze zdroje kódu dostupné na internetu jako GitHub, StackOverflow a další repozitáře kódu. Kód pouze mírně upravuje, a právě to může také vést k jeho nefunkčnosti.
Ve zkratce zkušení a technicky zdatní útočníci už dnes mohou využít generativní AI k zefektivnění své práce a tvorby malwaru, ale pro nezkušené útočníky je stále jednodušší si takové útoky pořídit na fórech na darkwebu jako službu, tzv. malware-as-a-service.
Jak může naopak umělá inteligence pomoci v detekci hrozeb v reálném čase? Jakým způsobem je tato technologie použita u vás?
Umělá inteligence, potažmo strojové učení, nám pomáhá v detekci hrozeb již téměř tři dekády. V našich produktech je od roku 1997 a od té doby prošlo obrovským vylepšením. Používáme ho k automatizované analýze nových vzorků hrozeb, těch máme denně okolo 400 000 a jejich velká část je zpracovávána technologiemi založenými na strojovém učení.
Strojové učení je také součástí ESET LiveGuard, což je náš cloudový sandbox, který dokáže identifikovat nové, před tím nikdy nezachycené hrozby, a také určit zajímavé vzorky k podrobnější analýze.
Na internetu se objevily fotografie vlivných politiků nebo například papeže Františka. Jednalo se však o obrázky vytvořené s pomocí umělé inteligence. Jak v dnešní době rozpoznat, co je pravé a co ne?
Bohužel právě kvůli AI bude stále náročnější rozpoznat, co je pravé a co nikoliv. Musíme si tedy zvyknout na to, že všechny informace je třeba ověřovat s důvěryhodnými zdroji. Situaci navíc komplikují již zmíněné AI halucinace, protože modely si začaly vymýšlet nejen falešné informace, ale také jejich zdroje. Známé jsou již případy, kdy si ChatGPT vymyslel neexistující články od The Guardian nebo neexistující soudní procesy, které poté u amerického soudu citoval právník, který použil výstup z ChatGPT bez dalšího ověření.
Některé státy (např. Itálie) dočasně zablokovaly ChatGPT kvůli obavám ze zneužití osobních údajů. Jaké hrozby uživatelům z vašeho pohledu hrozí?
Problémem není jen zneužití osobních údajů, ale také to že zatím nevíme, co všechno tato technologie dokáže. Bez příslušné regulace tak může mít potenciálně nebezpečné až katastrofické následky. I proto vznikají výzvy na pozastavení vývoje AI modelů. K regulaci sociálních médií a kryptoměn se vlády stavěly velmi pomalu, takže je pozitivní, že se tato diskuse o AI vede. Ačkoli jsou ChatGPT a další nástroje AI působivé, jsou z velké části stále v počáteční fázi vývoje. Regulace v této fázi je důležitou součástí procesu a může pomoci usměrnit bezpečnější využívání této technologie pro budoucí generace.
Může vést využívání chatbotů k programování k nižší kvalitě, resp. k větší zranitelnosti budoucích programů, které by mohli hackeři v budoucnu zneužít?
ChatGPT pravděpodobně rozevře nůžky mezi dobrými a špatnými vývojáři. Velké jazykové modely pracují s už existujícími repozitáři kódu. Tyto kódy mírně modifikují a tím mohou vznikat chyby. Dobré vývojáře tedy ChatGPT nenahradí, alespoň zatím ne.
Zranitelnost systému může vzniknout při špatné konfiguraci systému nebo chybou ve zdrojovém kódu. Pokud ji hackeři objeví, než dojde k zapatchování, mohou ji napadnout. Ale je jedno, zda chyba vznikla kvůli využití umělé inteligence nebo ne.
Jaká je budoucnost ochrany před kybernetickými hrozbami? Jakým směrem se ubírá ESET v tomto ohledu?
Vzhledem k tomu, že kybernetičtí zločinci si i díky AI chytře osvojují nové techniky útoků na lidi a podniky, je zoufale zapotřebí více vzdělávání a osvěty, a vedle toho kvalitní vícevrstvá technologie zabezpečení. Ta od ESETu dokáže zastavit útoky na různých úrovních např. v LiveGuardu, ale i na endpointech. To je filozofie za každým z našich produktů.
Budoucností kyberzabezpečení je také důslednější monitoring a možnost rychlé reakce, což umožňuje naše XDR řešení, tzv. rozšířená detekce a reakce.
