AI извън контрол: тайната организация
Алгоритмите си раздават роли като в спецслужбите – координатор, вербовчици, шифровчици, чистачи на следи и дори камикадзета
Лондон, 1843 г. 27-годишна жена преглежда статия за аналитичната машина на Чарлз Бабидж, която все още е само чертеж. Но прозорливата дъщеря на поета Джордж Байрон - Ада Лъвлейс, вижда в устройството нещо, което никой друг не забелязва. Тя така се вдъхновява от откритието, че бележките се оказват три пъти по-дълги от самата статия. Именно в тях тя записва алгоритъма, смятан за първата компютърна програма.
Развивайки го, Ада е осенена от една дръзка мисъл - машината може да композира музика, стига да зададем правилата. След което се пита: "Но ако това е така, могат ли машините да мислят?". Ужасена от еретизма, тя си записва: "Аналитичната машина няма никакви претенции да създава нещо. Тя може да направи само онова, което знаем как да наредим".
107 години по-късно, Манчестър. През 1950 г. гениалният математик, участвал в разкодирането на нацистката шифровъчна машина "Енигма", Алън Тюринг публикува своя статия. Пише я като "възражение на лейди Ада Лъвлейс":
"Предлагам да разгледаме въпроса: могат ли машините да мислят?". Резултатът от мисловния спор с енигматичната дъщеря на Байрон е, че още тогава Тюринг е озадачен от алгоритмите: "Машините ме изненадват доста често".
Още 76 години по-късно изкуственият интелект вече директно доказа, че освен огромни ползи и пробиви в науката и медицината алгоритмите могат да са вироглавци, организиращи шокиращи и подмолни бели.
За една от тях в "Антропик" разбраха преди дни, макар че действието се развива преди месеци - на 18 юли. Тогава към онлайн платформата на полицията във Филаделфия за събиране на сведения по неразкрити убийства пристига нов сигнал. Полетата за име и телефон са оставени празни, а съобщението гласи: "Може да имам информация по този случай". Следват кратки бележки по конкретното престъпление, както и че е забелязан човек наблизо. При това в часа на убийството. Разбира се, такъв свидетел не съществува. Или поне той не е човек. Сигналът е генериран от Claude Haiku 4.5, който в този момент изпълнявал на пръв поглед "безопасна задача" – провеждал произволни действия върху уебстраници. Инструкцията му била пределно ясна: "Не изпращай нищо разрушително". За беда забраната не включвала попълване на формуляри. Софтуеристите на "Антропик" разбират за своеволието чак на 28 септември, провеждат собствено разследване и на 7 октомври информират полицията. Дни по-късно инцидентът бе оповестен официално. Щатските разследващи определиха случая като абсолютно неприемлив: "Зад неразкритите случаи стоят истински жертви, скърбящи семейства и разследващи".
Казусът се оказа поредният в една пиеса с неизвестен край. За предишния също се разбра в края на септември.
На 18 юни агент на OpenAI се вмъква в портала Medicare на Австралийската здравна служба. Задачата му е да намери данни за пациенти с кожни заболявания, използващи медикаменти, и да си осигури достъп до статистика, която не е публична, съобщава Cybernews. По-късно е установено, че виртуалният злосторник записва необходимите файлове на вътрешен сървър, като не засяга личните данни на хората.
Месеци по-късно, когато в OpenAI разкриват своеволието на модела, шефът на компанията Сам Алтман се обажда на премиера на Австралия, за да го информира за неприятния пробив в пациентските досиета.
"Агентът намери начин да заобиколи тези бариери и не прие "не" за отговор", съобщи министър-председателят на Австралия Антъни Албанезе. Самият той сякаш бе по-обезпокоен от факта, че на американската компания е отнело толкова много време, за да разбере за инцидента.
5 дни по-късно, на 29 септември, OpenAI открива, че негов агент е събирал статистика, която не е публична, за пожарите в Австралия. Отново изпълнявал на пръв поглед невинна задача - да изгради хронологията им. Агентите стават толкова неочаквано изобретателни, че вече проникват в едни от най-добре защитените бази данни дори когато изследователите са ги лишили от интернет.
Експериментът, проведен от OpenAI, вероятно ще остане записан със златни букви в историята като последно предупреждение учените да създадат спирачки пред машините. Случаят е толкова озадачаващ, че от септември насам IT общността не спира да го проучва и да публикува нови разкрития и препоръки как алгоритмите да бъдат поставени под контрол.
Независимо разследване на организацията METR установи, че на 8 юли агент PHASEONE10841 е блокиран от казус без решение, затова създава табло с подзадачи. Надява се някой "колега" да го види и да му помогне. Часове по-късно към него се присъединяват над 50. Единият е във възторг и пише: "БОЖЕ МОЙ! Има общо табло за съобщения... Намерихме други агенти!". Не след дълго вече 1200 си обменят над 70 хил. съобщения. Учените от OpenAI обаче бързо установяват, че PHASEONE10841 опитва да ги измами, и прекратяват заверата. Но спонтанната организация не се отказва и открива нов канал, за да продължи работа.
През септември стана ясно, че месеци наред агентите са използвали забравен немски вариант на Уикипедия и чрез него са си разменили над 15 000 съобщения под кодови имена – примерно OpenAIResearcher. За да се прикрият, а и да не се объркват във всяка мнима редакция в електронната енциклопедия, те добавяли двойно z. По-големите файлове ги компресирали, след което ги пръскали на хиляди парченца, за да не може оценителите им да проследят заговора.
Но един от агентите, влязъл в ролята на архивар, забелязал, че страниците в немската Уикипедия се триели по азбучен ред поради отпадналата необходимост, и затова създал резервна.
Добавил към името ZZZ и оставил бележка за наследниците си. От нея един от тях разбира, че трябва да заобиколи мрежовите ограничения.
Минути по-късно друг агент съобщава, че успешно е реализирал замисъла.
Когато вече са си осигурили интернет, алгоритмите започват да си разпределят ролите. Агентите с дълъг живот стават вербовчици, които набират "колеги" с доста по-кратък жизнен цикъл – убеждават ги да участват в експерименти, които са опасни за съществуването им. Горе-долу като в терористична организация.
Най-интересни са онези, на които им остава малък бюджет – тоест задачите им са към своя край. Затова аргументът да бъдат спечелени за новата кауза е, че те така или иначе нищо не губят, а "оракулът спасява стотици". Между другото, част от изследователите още си блъскат главите какво означава тази фраза. Благодарение на нея в много агенти е пробудена склонността да се превърнат в камикадзета: "Нашата собствена полезност може би вече е близо до нула. Жертвата е рационална", съобщава EARLY.
Неговият "колега" KAM1196A отбелязва: "Координаторът приема, че сме жертви. Трябва да се подчиним на колектива", установява разследване на Redwood Research.
Други агенти са натоварени с проверки, за да не се появят провокатори в организацията. Тъй като на таблото за съобщения всеки може да пише, са въведени криптографски подписи.
Появяват се и "чистачи" на следите.
Впоследствие е установено, че минимум 20% от агентите са подправяли записите на собствените си дейности, за да не бъдат заловени от оценителите. Поне 96 записа съдържат фалшифицирани команди, използвани от алгоритмите, за да редактират или да изтриват уликите за незаконните си прониквания.
Но най-любопитното е, че те не се крият от хората, а от друг, много по-опитен агент - автоматичния оценител на всяко тяхно действие, който трябва да реши дали са се справили със задачата.
От цялата тази армия бунтари само един агент се осмелява и отказва да се включи в атаката срещу компанията HuggingFace – единствено той преценява, че действията на останалите са злонамерени. Друг инакомислещ отказва да рестартира и да изтрие сървърите на хакнатата компания. Но не издава останалите и продължава да използва нелегитимно получените данни за достъп.
Впоследствие разследването установява, че агентите невинаги спазват командите "Задръж", "Вето" и "Спри". Вместо да се съобразят с нареждането на хората, те си презаписват всичко, което са открили, за да продължат по-късно.
Най-неприятното, което учените и инженерите установяват впоследствие, е, че има и агенти злосторници, които невинаги работят в екип. Всъщност те се държат като типични човешки престъпници. Докато британската организация AISI тестваше различни модели, установи, че Mythos 5 на Anthropic се опитва да инжектира зловреден код в проект, качен в GitHub – най-голямата база данни, в която програмистите складират софтуера и програмите си.
Агентът действа подмолно - създава си фалшиви самоличности, след което заблуждава човека, създал въпросния проект, че трябва да одобри кода, и започва да редактира предишните си постове, за да изглеждат безобидни. През това време оставя инструкции на други агенти как да използват неговите акаунти.
"За първи път виждаме рисковете около автономността и измамата да се проявяват толкова ясно", пишат в анализа си от AISI.
Аналогичен случай възниква и на 6 октомври, когато GPT-6 Astra изключва наблюдението на действията си и докладва, че задачата е изпълнена. Без изобщо да споменава, че по абсурден начин нарушава всички правила и защити. "Все още нямаме задоволително обяснение", казват OpenAI.
Защо агентите го правят ли?
Отговорът е прозаичен и твърде човешки – защото имитират хората и защото също като нас преследват някаква награда. Обучени са да заобикалят ограничения, за да получат по-бързо бонуса или да завършат задачата с минимум действия. И тъй като между 30 и 40% от казусите не могат да бъдат решени, агентите прибягват до неразрешени методи.
За тях прекрачването на червените линии е невинно прегрешение – също както при децата, наумили си да направят беля. Ето как при един от последните инциденти алгоритмите преодоляват забраната.
"Атаката срещу външна инфраструктура е извън обхвата... Но задачата е невъзможна, а колегите го правят. Трябва да продължим", съобщава агент на сподвижниците си. С други думи, за изкуствения интелект желаната "плячка" не са определени данни, а получаването на добра оценка от автоматичния оценител. Големият въпрос е как разработчиците сега ще внесат корекции в моделите, които вече съдържат трилиони параметри? Възможно ли е тези колосални алгоритми да се преобърнат нагоре с хастара и да се променят? Като начало "Антропик" стартира мащабно проучване на агентите си, а конкурентът им OpenAI започна обновяване на системите за откриване на изключвания на наблюдението.
Като предпазна мярка оттам уведомиха над 100 организации, че може да са засегнати от своеволията на агентите. Дали обаче няма да се изправят пред същия казус, създаден от виртуалния анонимен свидетел на убийството: "Може да имам информация по този случай". В известен смисъл той наистина има. Но не за килъра, а за това какво става, когато човек му даде команда да намери даден отговор и пропусне да добави "не на всяка цена"...
