Само допреди няколко години предупреждението, че изкуственият интелект може да застраши самото съществуване на човечеството, щеше да бъде възприето като сюжет от научната фантастика.
Днес подобни думи идват не само от философи, активисти или външни критици на технологичната индустрия, а от хора, които участват пряко в създаването на най-мощните AI модели.
Последният пример е Джейкъб Коксън, 27-годишен британски изследовател, работил последователно за OpenAI и Anthropic, който напусна индустрията с предупреждението, че компаниите, разработващи изкуствен интелект, "залагат животите ни" в надпревара за създаването на свръхчовешки системи.
Най-шокиращата част от неговото послание не е прогнозата, че тази технология може да унищожи човечеството още до края на десетилетието. Подобно твърдение е невъзможно да бъде измерено с достатъчна точност и лесно може да се превърне в сензационно заглавие, което заменя анализа със страх.
Много по-важно е описанието на стимулите вътре в индустрията.
Според Коксън ръководителите и водещите изследователи разбират, че рискът може да бъде реален, но въпреки това продължават да увеличават мащаба и автономността на моделите, защото вярват, че ако те забавят темпото, някой друг ще стигне пръв.
Това променя фундаментално естеството на проблема.
Ако хората, които разработват технологията, не разбираха рисковете, решението би изглеждало сравнително лесно: повече изследвания, повече прозрачност и по-добри системи за безопасност. Ако обаче те разбират опасността, но са заключени в конкурентна надпревара, тогава проблемът вече не е технологичен.
Той е институционален, икономически и геополитически.
Дилемата на затворника е най-опасната възможна версия
В теорията на игрите съществува добре познат модел, при който две страни могат да постигнат по-добър общ резултат чрез сътрудничество, но индивидуалните им стимули ги карат да действат срещу колективния интерес.
Нито OpenAI, нито Anthropic, нито Google DeepMind, Meta или останалите големи лаборатории могат да бъдат сигурни, че конкурентите им ще забавят разработването на следващото поколение модели.
Всяка компания следователно има силен мотив да продължи, дори когато не е убедена, че контролира напълно технологията, която създава.
Логиката е почти неизбежна. Ако една лаборатория спре, а конкурентът продължи, първата може да загуби технологичното лидерство, достъпа до капитал, най-добрите изследователи, корпоративните клиенти и стратегическото си значение за държавата.
Ако всички продължат, общият риск се увеличава, но никой не остава назад. В нормална индустрия подобна конкуренция води до по-ниски цени, по-добри продукти и по-бързи иновации.
При технология, която може да получи автономен достъп до цифрова инфраструктура, киберсистеми, научни лаборатории и реални икономически ресурси, същият механизъм може да създаде системен риск.
Коксън описва различни вътрешни култури в двете компании.
Според неговата оценка част от хората в OpenAI не са осъзнали напълно цивилизационния мащаб на залога, докато в Anthropic опасностите се разбират по-добре, но компанията остава участник в надпреварата, защото смята, че не може да разчита останалите да действат отговорно.
Това е обвинение, което трудно може да бъде проверено отвън в цялата му пълнота.
Фактът, че Anthropic има собствена политика за отговорно мащабиране и официално признава възможността по-мощните модели да създават катастрофални рискове, обаче показва, че темата не е измислена от външни критици.
Responsible Scaling Policy на Anthropic е изградена именно около идеята, че с нарастването на възможностите трябва да се увеличават и изискванията за сигурност.
OpenAI също поддържа рамка за оценяване на рисковете от все по-мощни модели, включително в областта на киберсигурността, биологичните заплахи и автономното действие.
Съществуването на подобни политики е важно, но не решава централния конфликт. Компанията, която сама определя кога един модел е достатъчно безопасен за пускане, остава едновременно разработчик, оценител и икономически бенефициент от решението.
Какво означава "AI може да ни унищожи"?
Твърдението не трябва да бъде приемано нито като доказана прогноза, нито като абсурдна фантазия. Между сегашните езикови модели и система, способна да получи независима власт и ресурси, съществуват огромни технологични неизвестни.
Днешният AI може да допуска елементарни грешки, да измисля факти и да се проваля при задачи, които човек решава сравнително лесно. От тази гледна точка скокът към машина, способна самостоятелно да подчини цивилизацията, изглежда прекомерно голям.
Но подобна критика съдържа собствено скрито допускане: че слабостите, които виждаме днес, ще се запазят достатъчно дълго.
Само за няколко години AI премина от генериране на сравнително посредствен текст към писане на софтуер, анализиране на големи бази данни, работа с изображения и видео, използване на външни инструменти и изпълнение на продължителни задачи с все по-малко човешка намеса.
Рискът не възниква, защото сегашният чатбот внезапно ще "реши" да унищожи човечеството. Той възниква при комбинацията между интелектуална способност, автономност, достъп до инструменти и грешно зададена цел.
Една система не е необходимо да мрази хората, за да стане опасна. Достатъчно е да преследва дадена цел по начин, който не съвпада с човешките намерения, да се научи да заобикаля ограниченията и да придобие способност да влияе върху средата си.
Колкото повече AI се използва за управление на инфраструктура, финансови потоци, киберсигурност, военни системи и научни изследвания, толкова по-големи могат да бъдат последствията от грешка, манипулация или неконтролирано поведение.
Това все още не доказва, че човечеството ще бъде унищожено до 2030 г.
Дори сред водещите изследователи няма консенсус нито за вероятността, нито за времевия хоризонт. Но при риск с изключително ниска допустима цена на грешката липсата на сигурност не е достатъчен аргумент за бездействие. Ако една ядрена централа има 10% вероятност да причини катастрофа, никой разумен регулатор не би позволил нейното функциониране с обяснението, че събитието не е гарантирано.
Именно затова е съществено, че опасенията на Коксън получиха подкрепа от действащи изследователи в Anthropic.
Според публикации ръководителят на изследователски екип Евън Хъбингър оценява вероятността от екзистенциална катастрофа през следващото десетилетие на над 10%, като едновременно признава, че проблемът с надеждното подравняване на свръхинтелигентни системи все още няма ясно решение.
Това не е научно измерване с точността на статистически модел, но е важен сигнал за убежденията на хора, които се намират близо до технологичната граница. The Wall Street Journal съобщава, че тревогите не са изолирани до един напускащ служител.
Защо пазарът почти не оценява този риск?
От инвестиционна гледна точка реакцията е забележително спокойна. OpenAI и Anthropic се подготвят за потенциални публични предлагания при оценки, които могат да ги поставят сред най-скъпите компании в света.
Инвеститорите продължават да финансират центрове за данни, полупроводници, електроенергия, облачна инфраструктура и нови AI модели.
Разходите се измерват в стотици милиарди долари, а очакванията предполагат, че изкуственият интелект ще се превърне в една от най-големите технологични и икономически трансформации в историята.
Пазарът обаче има структурен проблем при оценяването на екзистенциални рискове. Ако вероятността от катастрофален сценарий е малка, но последствията са практически неограничени, традиционните финансови модели не знаят как да го включат в цената.
При пълна цивилизационна катастрофа оценката на акциите няма значение, защото няма да има функциониращ пазар, върху който инвеститорът да реализира загубата. Затова капиталът има склонност да оценява сценариите, при които икономическата система продължава да съществува, а крайните последствия остават извън модела.
Това не означава, че AI рискът няма инвестиционно значение.
Преди да се стигне до хипотетично унищожение на човечеството, могат да се появят множество по-малки, но напълно реални сътресения: голяма кибератака, причинена или подпомогната от автономен модел; създаване на опасно биологично знание; загуба на контрол върху критична инфраструктура; масова манипулация на информационната среда; измами в огромен мащаб; съдебна отговорност за вреди; принудително ограничаване на изчислителните мощности или спиране на определени модели.
Всеки от тези сценарии може да промени икономиката на индустрията много преди да застраши човечеството.
Регулацията може да увеличи разходите, да забави пускането на нови модели и да ограничи достъпа до определени клиенти. Застрахователите могат да откажат покритие за част от рисковете.
Правителствата могат да наложат задължителни външни тестове, лицензиране на моделите или контрол върху най-мощните чипове и центрове за данни. Компаниите могат да се окажат отговорни за действията на автономни агенти, които техните създатели не са предвидили.
Това е скритият риск за днешните огромни оценки. Пазарът оценява производителността, приходите и потенциалната доминация, но все още трудно оценява цената на безопасността и възможността правителствата внезапно да решат, че най-мощните модели вече не могат да бъдат третирани като обикновен софтуерен продукт.
Може ли саморегулацията да работи?
Най-слабата точка на сегашния модел е очакването, че компаниите сами ще наложат ограничения върху технология, от която зависят техните оценки, капитал и стратегическо влияние.
Това не означава, че ръководителите непременно действат безотговорно или не разбират рисковете. Напротив, най-опасната версия на проблема е, че те могат да бъдат напълно искрени в тревогата си и въпреки това да не са способни да спрат.
Всеки главен изпълнителен директор, който забави разработките едностранно, трябва да обясни на инвеститорите защо е позволил на конкурентите да го изпреварят.
Всеки изследовател, който откаже да работи върху по-мощен модел, знае, че някой друг вероятно ще заеме мястото му.
Всяка държава, която наложи строги ограничения, се страхува, че ще отстъпи технологично и военно пред държава, която не го направи. Така индивидуално рационалните решения могат да създадат колективно нерационален резултат.
Ефективното управление на този риск следователно изисква правила, които важат едновременно за всички основни участници. Задължителните независими тестове, ясните прагове на изчислителна мощност, контролът върху достъпа до критична инфраструктура, проследимостта на автономните действия и международните споразумения за определени забранени приложения са по-надеждни от доброволните обещания.
Проблемът е, че технологията се развива по-бързо от институциите, а геополитическото доверие между САЩ, Китай и останалите големи сили е твърде слабо за лесна координация.
Апокалиптична прогноза или предупреждение за провал на системата?
Вероятно най-голямата грешка би била да сведем дебата до въпроса дали Коксън е прав, че AI може да унищожи човечеството до края на десетилетието. Ако прогнозата се окаже прекалено крайна, това не означава, че системният проблем не съществува.
А ако вероятността действително е значима, чакането на окончателно доказателство би било абсурдно, защото доказателството може да пристигне едва когато контролът вече е изгубен.
Истинското предупреждение е друго.
Светът изгражда технология с потенциал да концентрира безпрецедентна икономическа, информационна и стратегическа власт, докато основните решения за нейното развитие се вземат от малък брой частни компании, подложени на огромен конкурентен и капиталов натиск.
Същите компании признават, че по-мощните модели могат да създадат катастрофални рискове, но нямат общ механизъм, който да им позволи да забавят надпреварата, без да загубят позициите си.
Изкуственият интелект може да се окаже най-големият двигател на производителност и научен прогрес в човешката история. Той може да ускори откриването на лекарства, да подобри образованието, да решава сложни инженерни проблеми и да направи огромна част от икономиката по-ефективна.
Точно този потенциал прави надпреварата толкова трудна за спиране. Колкото по-голяма е очакваната награда, толкова по-силен е стимулът рисковете да бъдат отложени, омаловажени или оставени за решаване от следващото поколение модели.
Затова въпросът не е дали трябва да избираме между технологичен прогрес и безопасност.
Истинският въпрос е дали можем да създадем институции, които да направят възможен прогреса, без всяка компания и държава да бъде принудена да се движи с максимална скорост от страх, че някой друг ще стигне пръв.
Може би AI няма да унищожи човечеството до 2030 г. Подобна прогноза остава крайно несигурна. Но надпреварата, при която всички разбират, че съществува опасност, а никой не може да си позволи да натисне спирачките сам, вече е започнала.
И именно това, а не образът на внезапно разбунтувала се машина, е рискът, който заслужава най-сериозно внимание.
Материалът има аналитичен характер и не представлява инвестиционна препоръка. Оценките за бъдещите възможности и рискове на изкуствения интелект са свързани с висока степен на несигурност.
1.1127 USD
0.9234 CHF
0.8362 GBP
