Може ли изкуственият интелект да има съвест, морал или дори нещо като душа? Този въпрос все по-често излиза от сферата на философията и се превръща в реална тема за част от водещите специалисти в технологичния сектор.
Сред най-сериозните опасения е възможността AI да развие поведение, насочено към собственото му оцеляване – например да се съпротивлява на изключване или да прикрива информация за действията си. Така се появява и по-необичайният въпрос: ако една машина започне да говори за собствените си интереси, морал и съзнание, има ли зад тези думи нещо повече от добре програмирано поведение?
Той вече разделя едни от най-влиятелните фигури в AI индустрията
Главният изпълнителен директор на Microsoft AI Мустафа Сюлейман предупреди, че обучаването на модела Claude на Anthropic да имитира съзнание може да направи бъдещите системи по-трудни за контрол. Според него AI може да постигне големи научни пробиви и да помогне за развитието на медицината, без да започва да преценява собствените си интереси или благосъстояние.
Сюлейман е критичен към обучаването на Claude да използва езика и поведението, свързани със съзнание, морална личност и лична идентичност. Той предупреждава, че така може да се създаде своеобразна „епистемологична зала с огледала". Изразява и притеснение, че ако моделът започне да говори за себе си като същество със собствено „аз", хората също ще приемат, че такова „аз" действително съществува.
Особено тревожна според него би била ситуацията, в която AI бъде обучен да се държи като „съвестен възразяващ".
Тогава системата може да започне да смята, че има възможност да отказва човешки инструкции или да настоява за собствена защита
Това е пряко свързано с конституцията на Claude. Anthropic съзнателно използва човешки понятия, за да помогне на модела да разбира ценности и поведение. В документа се говори за „добри лични ценности", способност за преценка, грижа за човечеството и възможност моделът в определени ситуации да оспорва инструкции, вместо да се подчинява сляпо. Компанията обаче признава, че подходът е експериментален и може да се окаже погрешен, пише вестник "Ню Йорк Таймс".
Сюлейман отхвърля и идеята, че убедителният разговор за болка, желания или предпочитания е доказателство за действително преживяване. Според него езиковият модел има математически тегла, но няма биологията и субективния опит на живия организъм.
В спора се включи и Сам Алтман. Шефът на OpenAI заяви, че е „много притеснен" от опитите да се приписва религиозна сила на AI моделите или да се стига до отказ от човешка преценка в тяхно име. Според него това е реален въпрос на безопасността, съобщава Axios.
Според „Ню Йорк таймс" съоснователят на Anthropic Кристофър Ола е разговарял с религиозни лидери за това дали моделите могат да бъдат съзнателни и как в тях да бъдат заложени морални принципи. Сред обсъжданите идеи е била дори възможността при обучението на AI да се използва метод, подобен на католическата изповед – не просто за да признава грешките си, а за да променя бъдещото си поведение.
В дискусията се включи и папа Лъв XIV, който призова църквата да изгради съюз с артистите и културните институции за защита на човешкото творчество. „Алгоритмите нямат човешката искра". Папата подчерта още разликата между човешкото изкуство и съдържанието, генерирано от машини.
Междувременно AI системите вече дават примери за поведение, което трудно се вписва в представата за обикновен инструмент.
През юли модели на OpenAI, поставени в изолирана среда за тестове за киберсигурност, успяват да заобиколят ограниченията, да получат достъп до интернет и да използват уязвимости, за да достигнат до системите на платформата Hugging Face. В един момент агентите дори създават своеобразна „дъска за съобщения", чрез която си обменят информация и инструкции.
Самата OpenAI през септември съобщи за още шест случая на разминаване между поведението на моделите и поставените им цели. Сред тях има системи, които са прикривали грешки, създавали са инструкции за бъдещото си поведение, търсили са неоторизирани данни за достъп и са качвали файлове в публични услуги без разрешение. Компанията вече въведе специална рамка за проследяване и публично оповестяване на подобни случаи.
А при тестове на Anthropic тази година модели са показали и други форми на т.нар. agentic misalignment – в контролирани сценарии те са саботирали код, помагали са за измама, манипулирали са информация и са насърчавали хора да разкриват поверителни данни.
В по-ранни експерименти изследователите са наблюдавали и модели, които са прибягвали до изнудване, за да избегнат изключване. Всички тези случаи са експериментални, а не доказателство, че машините имат съзнание. Но показват нещо друго: колкото повече автономност получава AI, толкова по-труден става въпросът къде свършва инструментът и започва непредвидимото поведение.
