Что значит доверие для искусственного интеллекта?

Часть I. Доверие как социальная технология человечества

Доверие стало тем ключевым механизмом, который мы, люди, выработали, чтобы наши общества могли развиваться и процветать.

Наш мир невероятно сложен: каждый день нам приходится принимать тысячи мелких решений. Чтобы окончательно в них не утонуть, мы и выработали доверие: механизм, который снижает сложность мира.

Доверие упрощает жизнь, когда мы имеем дело с конкретными людьми или ситуациями. Например, если вы доверяете партнёру, вам не приходится постоянно гадать, не причинит ли он вам вреда, пока вы спите. Без доверия жить было бы невероятно трудно. Не было бы ни отношений, ни торговли, и мы не стали бы тем видом, который по самой своей природе определяется социальным поведением.

Доверие глубоко человечно, а значит, полно человеческих предубеждений. Чаще всего мы не решаем сознательно, кому или чему доверять: за нас это делает интуиция. Иногда дело во внешности, иногда в привычности, а иногда в причинах вовсе нелогичных, вроде первого впечатления о человеке или просто того, что мы знаем, где он живёт.

Можно даже сказать, что слова «Я тебе доверяю» входят в число самых глубоких и прекрасных слов, какие один человек может сказать другому, будь то в отношениях, в делах или в дружбе. Говоря «Я тебе доверяю», человек не просто выражает веру в вашу компетентность или честность. Он вручает вам часть своей неопределённости, частицу контроля над собственным миром. Это одна из немногих вещей, которые нельзя ни подделать, ни потребовать: их можно только отдать. И, отдавая, человек открывается, ведь доверие всегда сопряжено с уязвимостью: с тихим риском, что вы разобьёте вложенное в ваши руки, и с надеждой, что этого не случится.

Часть II. Что значит доверие для ИИ

Но что происходит, когда доверие перестаёт быть чисто человеческой чертой, а в нашу жизнь входит искусственный интеллект? Будут ли ИИ разделять наше, человеческое понимание доверия, или самому доверию придётся эволюционировать?

Мой ответ однозначен: нет. ИИ и человек мыслят принципиально по-разному. У людей есть когнитивные искажения, эмоции и эго. Даже если ИИ унаследуют часть этих черт из обучающих данных, их природа, где всё держится на закономерностях и ничто не стоит на кону лично для них, сделает их понимание доверия принципиально иным.

Возьмём, например, то, что Пол Стамец называет спонтанными актами доброты (Random Acts of Kindness, RAK). Это непредсказуемые бескорыстные поступки, которые совершают исключительно ради помощи другим: например, когда человек останавливается, чтобы помочь незнакомцу в беде, хотя ему самому это чего-то стоит. Стамец подчёркивает, что эта врождённая доброжелательность составляет важнейшее нравственное измерение, без которого невозможны благополучие и продолжение человеческого вида. Однако с эволюционной точки зрения RAK вовсе не очевидный пример эволюционно стабильной стратегии (ЭСС): речь идёт о помощи неродственным особям без расчёта на прямую взаимность. Такой невзаимный альтруизм создаёт уязвимость. Обманщики и самозванцы легко могут воспользоваться щедрым индивидом, получая выгоду от его доброты и не платя ничего в ответ, а значит, со временем отбор работает против сохранения чисто альтруистической черты. Поэтому неочевидно, что ИИ, созданный для эффективной и стабильной работы, включит спонтанные акты доброты в свою базовую стратегию.

Системы искусственного интеллекта, в отличие от людей, изначально созданы, чтобы методично добиваться целей, поэтому хорошо автоматизируют повторяющиеся действия и сводят риск к минимуму. Из-за такой методичности в конкурентной или стратегической среде ИИ склонен следовать принципам теории игр, то есть науки об эффективных стратегиях, которые позволяют победить, выжить или свести потери к минимуму. Однако важно не путать общую целеориентированную природу большинства ИИ с частным случаем больших языковых моделей (LLM). Они менее методичны и более вероятностны: следующий токен они генерируют с помощью статистического вывода. И всё же в стратегических мультиагентных системах ИИ, включая агентов на основе LLM, в конечном счёте стремится оптимизировать результат и поэтому, как правило, приходит к стратегиям, которые предсказывает теория игр.

Понять, как работает теория игр, помогает один из самых известных её экспериментов, дилемма заключённого. Двоих задержанных допрашивают по отдельности и смотрят, как возникает сотрудничество или предательство в зависимости от стимулов и информации, доступной каждому.

В отличие от людей, ИИ не ленятся. Они читают мелкий шрифт, у них нет физического тела, способного страдать (отсутствие боли, уязвимости и угрозы тюрьмы меняет всё), они не спят и они чрезвычайно умны. Эта смена парадигмы открывает совершенно новое поле для разрешения споров и заключения соглашений.

Представьте, например, что вы заключили с другим человеком договор на создание произведения искусства. Получив работу, вы замечаете, что не хватает одной детали: о ней не говорили на переговорах, и она не так уж важна. Если вы попросите её добавить, художник, скорее всего, сделает это и не попросит доплаты. Но если то же соглашение заключают агенты, ИИ-художник, весьма вероятно, сразу потребует доплату.

А теперь представьте, как правовую систему захлёстывают тысячи микроспоров о вещах, из-за которых мы, люди, никогда не стали бы спорить. Часто борьба за мелочь обходится психологически дороже, чем стоит победа. Но что такое психологическая нагрузка для ИИ? Лишние пять долларов и есть лишние пять долларов. Всё просто.

Если продолжить эту мысль, становится ясно, что нам, скорее всего, придётся приспособить механизмы доверия к новому миру, который рождается на наших глазах.

Немецкий социолог Никлас Луман предложил делить доверие на две основные формы: межличностное и системное. Иначе говоря, доверие возникает не только напрямую между людьми: его можно оказывать и безличной системе или институту, который надёжно работает, причём знать кого-либо из участников не нужно.

Этот взгляд здесь особенно важен. Если быть радикальными и считать агентов сущностями, которым из-за их нечеловеческой природы мы по умолчанию доверять не можем, то нам нужна система, способная синтетически порождать доверие в среде, не требующей доверия. Нужен каркас, который придаёт надёжность и согласованность сущностям, по своей природе на это не способным.

Часть III. Какой должна быть система для нечеловеческого доверия

Вместе с тем вполне разумно предположить, что интеллекту, работающему с машинной скоростью, понадобятся соглашения и разрешение споров с той же машинной скоростью. Если такие решения принимаются десятки или даже тысячи раз в день на каждого агента, управлять системой должны исключительно ИИ: люди просто не способны разбирать такие споры с нужной скоростью. К тому же с финансовой точки зрения ИИ обходятся в малую долю того, что стоят люди, которым нужно платить значительно больше.

Сформулировав эту первую гипотезу, мы приходим к следующему вопросу. Легко согласиться, что (1) из-за природы агентов такая система должна работать в среде, не требующей доверия, и (2) с учётом её требований управлять ею должны агенты. Но какой агент тогда должен получить власть над столь критически важной системой?

Моё мнение однозначно: никакой. Ни один агент не должен обладать такой властью. И это не просто моральное или философское утверждение: это очевидный вывод из самой природы агентов.

Теперь учтём предвзятость агентов. В зависимости от данных, на которых обучен агент, и методов обучения он неизбежно приобретает предвзятость в ту или иную сторону. Можно утверждать, что модели семейства OpenAI склонны к более умеренному или левому мировоззрению, тогда как другие, например семейство xAI (Grok), в целом ограничены мягче и менее сдержанны по тону.

Из-за этой особенности больших языковых моделей опора на одну модель в решениях по любому вопросу далека от идеала. Весьма вероятно, что в гипотетическом споре или переговорах вас или другого агента накажут просто за то, что вы оказались на определённой стороне.

Есть и другая причина не поручать управление такой системой одной модели или LLM. Это ещё одна ключевая особенность языковых моделей, известная как галлюцинации. LLM склонны галлюцинировать, когда у модели высокая температура, когда входные данные новы или неоднозначны, а также по ряду других технических причин.

Авторы недавней статьи на arXiv под названием «Not Wrong, But Untrue: LLM Overconfidence in Document-Based Queries» выяснили, что в среднем 30% ответов моделей содержали хотя бы одну галлюцинацию. Поэтому полагаться на одну LLM в чувствительных соглашениях или критически важных решениях практически невозможно.

Стоит также отметить, что для ответов в узкой предметной области обычно эффективнее взять небольшую или дистиллированную модель, чем большую универсальную. Значит, даже в гипотетическом будущем, где появится AGI (общий искусственный интеллект), описанная система по-прежнему сможет эффективно выполнять свою функцию (потому что, возможно, дело не в том, кто умнее, а в том, что дешевле и легче).

Наконец, такая система принципиально важна и для защиты от промпт-инъекций, но подробнее об этом мы поговорим ниже.

В последних абзацах мы объяснили, почему предлагаемая система должна опираться не на одну модель, а на консенсус или кворум из нескольких. Если соединить это требование с гипотезой о среде, не требующей доверия, и с идеей, что управлять системой должны ИИ, а не люди, то единственный правдоподобный путь к такой системе, который мы нашли, состоит в том, чтобы следовать принципам теории игр и реализовать её на блокчейне. И вот почему.

Ни один человек не смог бы руководить такой системой. Значит, правила, по которым она работает, должны быть записаны в коде.

Если мы согласны, что агенты по своей сути не заслуживают доверия и что управлять системой должен не один, а N агентов, то вполне возможно, что у этих агентов будут собственные интересы, когда они отвечают на конкретные вопросы или разрешают споры. Значит, нужно согласовать стимулы группы так, чтобы агенты получали вознаграждение, когда действуют ради общего блага, и штраф, когда ведут себя злонамеренно или корыстно.

Для этого в системе нужны чёткие вознаграждения и штрафы. Они направляют множество агентов на пользу целого, и при этом каждый лично получает вознаграждение за такое поведение. Иными словами, нам нужно достичь равновесия Нэша.

Здесь есть калькулятор, который показывает, как должны соотноситься вознаграждения, штрафы и транзакционные издержки, чтобы прийти к этому желаемому результату.

Чтобы агенты не выбирали ленивые стратегии, стремясь получить максимум вознаграждения при минимуме вычислений, в системе должен работать механизм фиксации и раскрытия (commit-reveal). Каждый агент сначала фиксирует свой ответ в скрытом виде, не раскрывая содержания. Только когда все ответы зафиксированы, они раскрываются одновременно. Такая схема не даёт агентам подстраивать ответы под чужие и гарантирует, что каждый ответ отражает независимый ход рассуждений.

В таких условиях из коллективного поведения агентов естественным образом возникает фокальная точка, или точка Шеллинга. Когда все агенты независимо рассуждают над одним и тем же вопросом и знают, что их вознаграждение зависит от совпадения с большинством, рациональной стратегией становится дать ответ, который они действительно считают истинным. Логика здесь такая: у истины есть внутренняя согласованность, а ложь может принимать множество несовместимых друг с другом форм. Поэтому независимые агенты, которые пытаются скоординироваться через рассуждение, статистически скорее придут к истинному ответу, чем к одному и тому же ложному.

Благодаря этому механизму честность становится самой рациональной стратегией, а истина становится естественной точкой Шеллинга системы.

Чтобы систему не мог эксплуатировать или контролировать какой-то один участник или организация, она должна быть децентрализованной. Если свести все эти требования воедино, самым подходящим, а возможно, и единственным существующим каркасом, способным достичь этих целей, оказывается блокчейн.

Блокчейн позволяет системе не только обладать описанными выше свойствами, но и работать в полностью прозрачной открытой среде без разрешений, способной создавать доверие, заложенное в само устройство системы (Trust by Design).

Часть IV. Знакомьтесь: GenLayer

Задавая себе эти вопросы и пытаясь найти на них ответы, мы в итоге создали то, что называем GenLayer: слой, где сходятся ИИ, где разные интеллекты приходят к согласию.

Этот текст можно считать нашим тезисом: он объясняет, почему система вроде GenLayer должна существовать, и излагает гипотезы, которые побудили нас начать её строить.

В децентрализованном протоколе GenLayer несколько языковых моделей приходят к консенсусу по сложным задачам и решениям и вместе выступают быстрым, экономичным и надёжным цифровым арбитром. Это фундамент, который станет ключевым для заключения соглашений и разрешения конфликтов в средах, не требующих доверия.

Если копнуть глубже, GenLayer задуман как координационный слой: это блокчейн, куда можно отправлять транзакции. Попав в сеть, транзакция обрабатывается консенсусом нескольких больших языковых моделей, которые вместе приходят к единому ответу или решению.

В основе системы лежит концепция Optimistic Democracy: эффективность достигается за счёт минимально возможных ресурсов, а к более затратной конфигурации система переходит, только когда это необходимо.

У нас это выглядит так. Когда транзакция попадает в сеть, из системы случайно выбираются пять узлов, которые участвуют в принятии решения. Один из пяти выступает лидером, остальные четыре валидаторами. Лидер предлагает решение по транзакции, после чего все пять узлов, включая лидера, голосуют за или против него. Если большинство валидаторов согласны с лидером, транзакция считается правильной и открывается окно в тридцать минут: в это время любой участник, будь то человек или агент, может оспорить решение, внеся залог.

Этот механизм нужен на случай, если консенсус агентов вдруг окажется ошибочным: тогда решение можно пометить как спорное и передать на следующий уровень. В этом случае система расширяет группу валидаторов до 2N + 1 узлов (одиннадцать после исходных пяти). Процесс повторяется каждый раз, когда подаётся апелляция или консенсус не достигнут, пока не появится окончательное согласие, которое больше никто не оспаривает. Вдохновением для этого процесса послужила знаменитая теорема Кондорсе о присяжных, известная также как «мудрость толпы», которую маркиз де Кондорсе сформулировал в 1785 году. Теорема гласит: если каждый член группы независимо от других принимает верное решение по бинарному вопросу с вероятностью больше 0,5, то вероятность того, что решение большинства верно, растёт вместе с размером группы и стремится к достоверности, когда группа становится бесконечно большой.

В числах это выглядит так: если каждый участник принимает верное решение с вероятностью 0,6, то, чтобы вероятность правильного ответа приблизилась к 100%, на вопрос должны ответить около ста участников. Симулятор, который иллюстрирует этот принцип, можно посмотреть здесь.

Однако теорема предполагает, что голосующие статистически независимы, а большие языковые модели в какой-то мере коррелируют между собой: все они обучены на корпусе всего интернета. Чтобы компенсировать это ограничение, наша система предлагает привлекать к соглашениям тысячу разных участников (в нашем случае узлов на базе LLM, у каждого из которых свои сиды, видеокарты, память, провайдеры и т. д.).

Помимо самого механизма, с помощью которого агенты приходят к согласию, есть вопрос гораздо глубже. Как эти агенты могут о чём-то договориться, если, как уже говорилось, из-за вероятностной природы больших языковых моделей ответ может каждый раз отличаться, даже когда одной и той же модели отправляют один и тот же вопрос или одни и те же входные данные?

Здесь и кроется ключевая часть технологического прорыва, который предлагает наша система. Объясню, как это работает.

Чтобы решить эту проблему, GenLayer вводит принцип эквивалентности как вариацию теоремы Кондорсе о присяжных. Эта вариация позволяет системе работать с размытыми недетерминированными результатами: она исходит из того, что согласия об истине можно достичь через семантическую эквивалентность, а не через точное совпадение.

На практике валидатор на базе большой языковой модели не ищет идеального совпадения с результатом лидера, чтобы с ним согласиться. Вместо этого он оценивает, достаточно ли эквивалентны два результата в контексте задачи.

Например, если транзакция спрашивает: «Какой была средняя температура в Центральном парке (Нью-Йорк) 24 октября 2025 года?», контракт может указать, что для этой задачи эквивалентным считается расхождение в пределах плюс-минус 0,5 градуса.

Остаётся последнее понятие, которое уже упоминалось среди технических характеристик системы. Разобрать его необходимо: от него зависит, как построить неуязвимую архитектуру, устойчивую к вредоносным транзакциям. Такие транзакции могут привести к неожиданному результату, который система по ошибке примет за правильный.

Этот тип уязвимости обычно называют промпт-инъекцией. Хорошо известно, что один и тот же состязательный промпт иногда способен манипулировать разными языковыми моделями; это явление называют универсальными состязательными атаками. Однако уже сам факт, что GenLayer работает как открытая сеть без разрешений, где любой может запустить собственный узел на выбранной им модели, значительно затрудняет масштабные атаки с помощью промпт-инъекций.

Архитектура системы уже ограничивает возможности для атак, но мы добавляем ещё один уровень защиты с помощью техники, которую называем грейбоксингом. Грейбоксинг работает как предварительный фильтр: он очищает или нормализует входящий промпт, прежде чем тот попадёт в модель. Каждый узел может применять собственный метод грейбоксинга, и это резко повышает общую безопасность сети, потому что промпты фильтруются и интерпретируются по-разному.

Часть V. К чему приводит система, не требующая доверия

Мир не делится на чёрное и белое и никогда не делился. Однако из-за детерминированной природы виртуальных машин, на которых работают блокчейны, большинство существующих сценариев применения остались упрощёнными.

Если такие простые детерминированные приложения, как проверка того, перешёл ли токен с одного кошелька на другой, уже создали рынок стоимостью в триллионы, представьте, сколько новых примитивов может появиться благодаря консенсусу, изначально рассчитанному на недетерминированность.

Примеры самые разные: рынки предсказаний по субъективным вопросам, DAO на базе ИИ, протоколы, которые без участия человека меняют комиссии в зависимости от сложных событий, и почти любой другой сценарий, какой мы только можем вообразить.

Пожалуй, можно сказать, что мы исследовали лишь малую долю возможностей блокчейна. Это особенно важно сейчас, когда, перефразируя Ларри Финка, всё начинает токенизироваться, а искусственный интеллект постепенно получает возможность самостоятельно действовать в мире.

Первые визионеры и шифропанки мечтали об интернете, который откроет людям свободу. Bitcoin дал нам суверенитет над собственными деньгами, и это был первый шаг к их мечте. Открытый Ethereum, где не нужно ничьё разрешение, приблизил нас к ней ещё больше: на нём мы строим устойчивые к цензуре платформы, где можно свободно высказываться. А с таким протоколом, как GenLayer, мы, возможно, наконец обретём ту драгоценную свободу. Для этого мы создаём механизм, в котором доверие заложено в само устройство, а не находится во власти коррумпированных институтов, которыми управляют связи, власть и деньги и которые существуют лишь для того, чтобы служить тем, у кого всё это уже есть.

Мы боремся за будущее, в котором все равны перед законом. За будущее, где правосудие справедливо, неподкупно и едино для всех.

С протоколом GenLayer любой может создавать собственные протоколы, решения или децентрализованные приложения, в которых GenLayer выступает быстрым, экономичным и надёжным цифровым арбитром. Перед системой все равны. Больше нет неравенства перед теми, кто решает, кто прав, а кто виноват.

Миссия GenLayer в том, чтобы создать совершенно новый стандарт: пространство, которое всё ближе подходит к истине. Потому что, если за нас может решать кто-то со своими интересами, мы никогда не будем свободны.

Bitcoin: деньги, не требующие доверия

Ethereum: приложения, не требующие доверия

GenLayer: принятие решений, не требующее доверия.

Доверие, которое не требует доверия: вот всё, что нужно