Представляем тестнет Bradbury

В прошлой статье мы упомянули тестнет Bradbury, нашу следующую веху на пути к мейннету. Здесь я приглашаю вас вместе со мной подробно разобрать, каким мы видим Bradbury: какие у него цели и какие эксперименты мы хотим провести.

В Bradbury ИИ соединяется с блокчейн-консенсусом, и происходит это впервые. Во время Asimov мы заложили фундамент инфраструктуры и связали между собой все части системы; в Bradbury мы готовы добавить последний ингредиент: LLM-инференс.

До сих пор наши валидаторы пользовались субсидированными LLM от наших партнёров по инференсу @ionet, @heurist_ai / @Libertai_DAI и @comput3ai, которые поддерживают валидаторов бесплатными кредитами на время тестнета. Поскольку в Asimov мы не запускали настоящих «продакшен»-контрактов, выбор LLM для каждого валидатора был делом второстепенным. В Bradbury всё внимание переключается именно на это решение: как выбрать подходящую модель и как добиться от GenLayer наилучшей производительности.

Ранее я назвал тестнет Bradbury «тренажёрным залом для учёных», где исследования и эксперименты идут бок о бок в поисках наилучшей производительности. По-моему, это точно передаёт суть того, что мы задумали для Bradbury.

С Bradbury мы переходим от пассивного тестнета Asimov к активному тестнету, который требует вовлечённости: партнёры, валидаторы, разработчики и исследователи возьмут на себя более заметную роль.

Роль наших партнёров по инференсу станет гораздо заметнее: они будут взаимодействовать с валидаторами, изучать, как каждая модель работает в GenLayer, и предлагать альтернативные модели. Они эксперты в этой области, и их вклад будет особенно ценным.

Перед валидаторами GenLayer открывает новый пласт возможностей. Консенсус Optimistic Democracy сходит с проторённой дороги и сворачивает на неизведанную территорию, потому что вводит недетерминированность. Главная цель Bradbury в том, чтобы валидаторы учились и успевали за стремительными обновлениями в мире ИИ, поддерживая работу GenLayer на максимально высоком уровне и тем самым увеличивая собственные вознаграждения. Мы проведём небольшой воркшоп, на котором валидаторы развернут собственные Intelligent Contracts, чтобы взглянуть на всё глазами разработчика.

Разработчики могут начать разворачивать свои приложения в Bradbury и сравнивать их исполнение со Studio, помогая нам донастроить систему. Продакшен-приложения в Bradbury работать не будут: производительность будет меняться, а история время от времени будет сбрасываться. Но у таких проектов, как Rally, Unstoppable или игры GenLayer Playverse, появится возможность развернуть настоящие контракты в тестнете Bradbury и измерить их производительность на исторических транзакциях, то есть провести бенчмарк реальных продакшен-сценариев в децентрализованной сети.

А теперь подробно разберём несколько направлений исследований и экспериментов.

Грейбоксинг

Уникальная возможность валидаторов GenLayer называется грейбоксингом. Он позволяет применять произвольные преобразования перед каждым вызовом LLM. Любые входные данные или контекст можно перехватить, проанализировать и изменить, а решения можно принять ещё до того, как промпт попадёт в LLM.

Это открывает перед валидаторами огромный простор: можно повышать производительность, снижать затраты и усиливать безопасность.

Маршрутизация моделей

Валидаторы не привязаны к одной LLM. Для разных контрактов они могут использовать разные модели. Допустим, какой-то контракт запускается тысячи раз в день. Тогда валидаторам имеет смысл на всех накопленных парах «вход-выход» дообучить или дистиллировать модель поменьше: она будет дешевле, быстрее и производительнее той, что они используют по умолчанию.

И наоборот, если валидатор участвует в крупной апелляции с 1 000 валидаторов, ему имеет смысл запустить самую мощную модель из доступных, чтобы принять максимально точное решение, которое с наибольшей вероятностью совпадёт с мнением большинства. Тогда он получит вознаграждение, а не окажется в меньшинстве и не заплатит штраф.

Мы называем это маршрутизацией моделей, и это открытое направление исследований. Валидаторам нужны экономичные маршрутизаторы для контрактов разной сложности; те, кто преуспеет в маршрутизации моделей, будут получать больше вознаграждений и двигать GenLayer вперёд. Мы призываем валидаторов самостоятельно разрабатывать маршрутизацию, чтобы получить конкурентное преимущество.

Универсальная промпт-инъекция

Промпт-инъекция давно известна как уязвимость LLM. Если в базовой архитектуре трансформеров не произойдёт крупных изменений, это семейство атак никуда не денется. Optimistic Democracy здесь очень помогает: атаковать нужно не одну модель, а большинство LLM, участвующих в консенсусе, и этот дополнительный уровень защиты достаётся бесплатно.

Но этого недостаточно: в прошлом уже находили универсальные промпт-инъекции, которые успешно взламывали самые разные LLM (и могут найти снова). Чтобы снизить этот риск (и риск других атак), каждый узел может проверять промпты и входные данные контракта перед вызовом LLM и применять фильтры, которые делают такие атаки экспоненциально сложнее. Новые модели выходят нечасто, поэтому поддерживать безопасность GenLayer могут именно валидаторы.

Конституция GenLayer

В рамках дорожной карты по управлению мы сформулируем Конституцию GenLayer, согласованную всей экосистемой. В ней мы решим, какие транзакции хотим исполнять в GenLayer, а какие предпочли бы запретить. Текст Конституции мы будем согласовывать и писать вместе, в открытом диалоге со всей экосистемой.

На этапе грейбоксинга любой валидатор может проверить транзакцию на нарушения Конституции и отказаться её обрабатывать.

Бенчмарки

Чтобы проверять все эти идеи и улучшать их шаг за шагом, нужна точка отсчёта: только так можно по-настоящему измерить, что повышает производительность. Нам понадобятся бенчмарки в виде Intelligent Contracts и наборов данных, где заданы транзакция и итоговое состояние контракта. Тогда после каждого изменения можно будет запустить бенчмарки и выяснить, как оно повлияло на результат.

Некоторые бенчмарки будут дискретными, например на основе контракта LLM ERC-20, который чётко задаёт ожидаемое выходное состояние для каждого входа. Другие могут проверять выходные данные на определённые свойства с помощью LLM или просто направлять продакшен-трафик dApp, уже работающих в Studio (Intelligent Oracle, Rally, Unstoppable и других), в «теневую» копию dApp на Bradbury и вычислять отклонение.

Основная команда и многие валидаторы будут постоянно экспериментировать со своими настройками, поэтому мы планируем регулярно запускать эти бенчмарки и вести историю развития Bradbury. Это мы и называем Bradbury Gym; скорее всего, он будет интегрирован с Points System.

С помощью этих бенчмарков мы сможем сравнить производительность разных типов моделей и определить, каким контрактам достаточно более дешёвых моделей, а каким нужны передовые.

Газ и комиссии

В GenLayer предусмотрена новая система вознаграждений и штрафов, которая зависит от того, как голосует каждый валидатор и оказывается ли он в большинстве или в меньшинстве. Основная команда прямо сейчас завершает реализацию этой функции. Когда она будет готова, валидаторы получат стимул и механизм обратной связи, необходимые для настройки узлов и анализа затрат.

Мы хотим проверить наши исходные предположения и симуляции на реальном использовании в тестнете и соответствующим образом скорректировать системные константы. Например, по нашей оценке, если платить валидаторам в виде газа в 60-100 раз больше стоимости инференса за транзакцию, быть ленивым (всегда принимать ответ лидера) валидатору станет экономически бессмысленно.

Мы хотим проверить эту гипотезу эмпирически и подготовить инструменты, чтобы постоянно проверять её и в мейннете: эти константы придётся корректировать по мере того, как за время работы GenLayer будут появляться новые передовые модели и дешеветь инференс.

Разнообразие моделей

Optimistic Democracy выигрывает от разнообразия моделей, то есть от разных LLM, разных начальных настроек (сид, температура и т. д.) или разных чекпойнтов обучения. Всё это в достаточной мере снижает корреляцию (обеспечивает независимость), чтобы консенсус приходил к правильным ответам.

Сейчас мы формулируем математические основы, чтобы провести на Bradbury эмпирические тесты и бенчмарки на реальных сценариях и измерить влияние корреляции моделей. Мы хотим поэкспериментировать и предложить набор настроек по умолчанию, который поможет добиться наилучших результатов. Можно сделать мастер настройки в GenLayer CLI, который поможет валидаторам настраивать узлы по найденным лучшим практикам.

Нам нужно создать подходящие условия, чтобы среди валидаторов возникло разнообразие. К счастью, в нашем распоряжении много инструментов, например GenLayer Foundation, которая вознаграждает за самые редко используемые модели и субсидирует определённые конфигурации.

Нам предстоит поработать над механизмом самоотчёта с метаданными по каждой транзакции.

Апелляции

Одно из открытых направлений исследований касается механизма апелляций в консенсусе Optimistic Democracy. Это оптимистичный алгоритм, а значит, он начинает «дёшево», почти не расходуя ресурсов: сначала участвуют 5 валидаторов, и их число может вырасти до 1 000. Успешный апеллянт получает вознаграждение за свои усилия. Значит, можно заработать, если быстро подавать апелляцию, когда ответ может оказаться неверным. На практике эта роль внутри GenLayer пока почти не изучена.

В распоряжении апеллянта все исторические данные валидаторов, сведения о том, кто из валидаторов участвовал в текущем раунде, сам контракт и все данные транзакции. По этой информации можно оценить каждую транзакцию и решить, стоит ли углубляться в анализ, который может закончиться успешной апелляцией. Если транзакция помечена как подозрительная, апеллянт может запустить передовую модель офчейн (это намного дешевле), выяснить, каким будет ожидаемый результат голосования, и решить, подавать ли апелляцию.

Здесь возможны разные стратегии: статистический анализ, классические алгоритмы ML, «жадные» апелляции по голосам меньшинства и многие другие. Апеллянтами могут быть сами валидаторы (у них есть доступ ко всем данным в реальном времени) или бот, который отслеживает сеть. Какая техническая реализация будет использоваться, мы пока не решили.

Вовлечение сообщества

И последнее по порядку, но не по значению: мы придумываем для сообщества игровые активности, например попытки взломать контракт Wizard of Coin во время Bradbury.

Мы также готовим задания, в которых исследователи смогут соревноваться, улучшая общую производительность GenLayer и знания о нём.

Напоследок

Тестнет Bradbury задуман как песочница, где каждый может проверить свои самые увлекательные теории о том, как продвинуть GenLayer вперёд. Важно понимать, что для успеха Bradbury нам понадобятся активное участие и вовлечённость всех участников GenLayer: валидаторов, разработчиков, исследователей и членов сообщества. У нас есть идеи, как это стимулировать, и мы поделимся ими в следующих публикациях.

Статья получилась довольно технической, и информации в ней много. Открытых направлений для исследования тоже немало. Мы работаем над этими идеями уже несколько лет и хотели показать вам, что нас ждёт. Мы очень рады, что тестнет Bradbury наконец воплощается в жизнь и что мы можем поделиться им с вами.

Если вы хотите участвовать в GenLayer и тестнете Bradbury, присоединяйтесь к нашей Points System.