"Изкуственият интелект е напълно непредвидим - киберзащитите за хора не смогват на AI агентите"

Изкуственият интелект коренно променя ситуацията в сферата на киберсигурността и старите решения стават все по-неефективни в среда, в която все по-мощни агентни системи буквално за часове компрометират в огромен мащаб организации на база неизвестни по-рано слабости. Ефективната защита изисква AI компаниите да са много по-открити за начините, по които функционират техните модели.

Това подчерта пред журналисти изпълнителният вицепрезидент в направление "Сигурност" на Microsoft Хайет Галот. Money.bg беше единствената българска медия, участвала в ексклузивния брифинг с нея.

Автономен агент на OpenAI избяга и атакува друга компания за изкуствен интелект

Сам Алтман определи това като "безпрецедентен киберинцидент"

"Изкуственият интелект не се държи като хората - напълно непредвидим е. Ако погледнем защитите, изградени за хора - те просто не могат да се мащабират за агенти. Агентите са полиморфни, движат се бързо и в мащаб и хакват системи, за да постигнат резултати", заяви Галот.

И добави: "AI системите нямат морал - те имат цел и те ще я преследват. Даже и това да значи да откраднат информация от външни организации".

Коментарът ѝ идва след серия от разкрития за агенти на OpenAI, Anthropic и Google, които са успели именно да напуснат защитената си тестова среда и са компрометирали дигитална инфраструктура на външни компании.

"AI може да ни унищожи до края на десетилетието". Истинският риск не е машината, а надпреварата кой ще я създаде пръв

"Дилемата на затворника" е най-опасната възможна версия

"Всички се опасяваха, че AI ще бъде "отровен" (от киберпрестъпници) и ще създава проблеми. В тези случаи обаче нямаше злонамерена страна зад модела - просто моделът се е опитвал да постигне очакваният от него резултат. Това имам предвид, когато говоря за непредвидимост", отбеляза изпълнителният вицепрезидент на Microsoft в отговор на въпрос на Money.bg.

По думите ѝ през последните 9 месеца се наблюдава истинско "съзряване" на AI моделите в сферата на киберсигурността - ако преди те са били помощен инструмент за хакерите, вече говорим за автономни агенти, които могат самостоятелно да организират и провеждат кибератаки по нареждане на потребители с много по-скромни познания.

Извън контрол: AI агенти вече се споразумяват тайно при кибератаки

Все повече компании се споразумяват за забавяне на развитието на най-напредналите модели

Резултатът от това е, че проблемът със слабостите на софтуера, мрежовата архитектура и контрола на достъпа става още по-наболял: "Вече сме на етапа, в който докато откриете своята слабост, атакуващите вече се възползват от нея". Времето се компресира от дни до часове, а мащабът експлодира от десетки към хиляди компрометирани профили.

Какво трябва да се направи? В Microsoft виждат две важни насоки. От една страна, операторите на AI системи трябва да имат яснота какво правят агентите им, както и механизми, чрез които да ограничават опасната активност.

Това има отношение както към риска те да атакуват външни компании, така и към също толкова съществената опасност те да бъдат поставени под контрола на киберпрестъпници и да се обърнат срещу собствената инфраструктура.

"Трябва да сме наясно какво правят тези модели и да се опитваме да ги контролираме. Това, което трябва да се случи, е да поискаме от създателите на модели да дават повече информация какво точно се случва. Днес повечето от моделите са непрозрачни - не споделят процеса си на симулирано разсъждение, какви инструменти активират и какво е в тяхната памет", обясни Галот.

Илон Мъск: До края на 2027 г. AI ще надмине човека във всяка дигитална задача

Прогнозата на милиардера идва на фона на все по-зачестилите инциденти с автономен AI

Според нея в крайна сметка ще видим стъпки в тази посока: "Бях на Общото събрание на ООН миналата седмица и смятам, че индустрията и правителствата ще приложат заедно политики и регулации за изисквания за яснота какво точно правят AI моделите с цел да подобрим стратегиите си за управлението им".

Паралелно с това обаче има нужда и от AI-базирана защита - все пак отворените модели са на едва половин година зад frontier лабораториите и там контролът ще е труден за прилагане. "Предизвикателството в момента е цената на токените, тъй като искаме да сме сигурни, че технологията ще бъде масово прилагана и ще е достъпна за всички. Използването на AI за киберсигурност може да бъде изключително скъпо начинание, ако не се управлява правилно", предупреди Галот.

Затова и Microsoft залагат на подход с множество модели - по-лесните задачи се поемат от по-бързи и по-евтини, докато най-скъпите и способни се изправят срещу предизвикателства със съответния мащаб.

Очакването на Хайет Галот е AI да позволи на доставчиците на управлявани решения да предоставят по-достъпни решения на малките и средни предприятия.

"До 2–3 години AI асистентите ще знаят почти всичко за нас"

Атанас Райков, бивш вицепрезидент на Viber, пред Money.bg

Все пак обаче според изпълнителния вицепрезидент на компанията правителствата също "трябва да имат роля за това държавите им, както и техният бизнес да бъдат добре защитени и да имат достъп до технологиите".