Anthropic zmařil pokusy hackerů zneužít umělou inteligenci Claude k páchání kyberkriminality
Společnost Anthropic ve středu oznámila, že odhalila a zablokovala hackery, kteří se pokoušeli zneužít její systém umělé inteligence Claude k psaní phishingových e-mailů, vytváření škodlivého kódu a obcházení bezpečnostních filtrů.
Zjištění společnosti, zveřejněná v reportu, poukazují na rostoucí obavy, že nástroje umělé inteligence jsou stále častěji zneužívány k páchání kyberkriminality, což zesiluje výzvy technologickým firmám a regulačním orgánům, aby s rozšiřováním této technologie posílily bezpečnostní opatření.
Zpráva společnosti Anthropic uvádí, že její interní systémy útoky zastavily a že sdílí případové studie, které ukazují, jak se útočníci pokoušeli použít Claude k vytváření škodlivého obsahu, aby pomohla ostatním pochopit rizika.
Zpráva uvádí pokusy o použití Claude k sepsání přizpůsobených phishingových e-mailů, psaní nebo opravování úryvků škodlivého kódu a obcházení bezpečnostních opatření opakovaným zadáváním příkazů.
Popisuje také snahy o vytvoření vlivových kampaní generováním přesvědčivých příspěvků ve velkém měřítku a pomáháním méně zkušeným hackerům pomocí podrobných pokynů.
Společnost, podporovaná Amazon.com a Alphabet, nezveřejnila technické ukazatele, jako jsou IP adresy nebo výzvy, ale uvedla, že po zjištění této činnosti zakázala příslušné účty a zpřísnila své filtry.
Odborníci tvrdí, že zločinci se stále častěji obracejí na AI, aby učinili podvody přesvědčivějšími a urychlili pokusy o hackerství. Tyto nástroje mohou pomoci psát realistické phishingové zprávy, automatizovat části vývoje malwaru a dokonce potenciálně pomáhat při plánování útoků.
Výzkumníci v oblasti bezpečnosti varují, že s rostoucí výkonností modelů AI bude riziko zneužití narůstat, pokud společnosti a vlády nezareagují rychle.
