Anunciamos la testnet Bradbury

En nuestro último artículo hablamos de pasada de la testnet Bradbury, nuestro próximo hito hacia la mainnet. Aquí te invito a acompañarme en un recorrido a fondo por nuestra visión de Bradbury, con todo el detalle de los objetivos y los experimentos que queremos llevar a cabo.

En Bradbury, la IA se une al consenso blockchain por primera vez. Durante Asimov sentamos las bases de la infraestructura y conectamos todas las partes del sistema; en Bradbury estamos listos para añadir el ingrediente que faltaba: la inferencia de LLM.

Hasta ahora, nuestros validadores han usado LLM subvencionados por nuestros socios de inferencia @ionet, @heurist_ai / @Libertai_DAI y @comput3ai, que apoyan a nuestros validadores con créditos gratuitos durante la testnet. Como en Asimov no ejecutábamos contratos «de producción» reales, el LLM que eligiera cada validador daba igual. En Bradbury, todo el foco se desplaza hacia esa decisión: cómo elegir un modelo adecuado y cómo sacar el máximo rendimiento a GenLayer.

Ya definí la testnet Bradbury como un gimnasio para investigadores donde conviven la investigación y los experimentos en busca del mejor rendimiento. Creo que resume bien lo que imaginamos que ocurrirá en Bradbury.

Con Bradbury pasamos de una testnet Asimov pasiva a una testnet Bradbury activa y participativa, en la que socios, validadores, desarrolladores e investigadores se implicarán mucho más.

Nuestros socios de inferencia tendrán un papel mucho más destacado: interactuarán con los validadores, estudiarán cómo rinde cada modelo en GenLayer y ofrecerán modelos alternativos. Son expertos en la materia y sus aportaciones serán muy valiosas.

Para los validadores, GenLayer abre una nueva capa de oportunidades por explorar. Al introducir el no determinismo, el consenso Optimistic Democracy deja atrás el camino trillado y se adentra en territorio inexplorado. El gran objetivo de Bradbury es que los validadores aprendan a seguir el ritmo de las rápidas novedades del mundo de la IA: así harán que GenLayer funcione lo mejor posible y, de paso, maximizarán sus propias recompensas. Organizaremos un pequeño taller para que los validadores desplieguen sus propios Intelligent Contracts y entiendan el punto de vista de quienes desarrollan.

Los desarrolladores pueden empezar a desplegar sus apps en Bradbury y comparar su ejecución con la de Studio, lo que nos ayudará a afinar el sistema. No ejecutaremos apps de producción en Bradbury, porque su rendimiento variará y el historial se reiniciará de vez en cuando, pero será una oportunidad para que proyectos como Rally, Unstoppable o los juegos de GenLayer Playverse desplieguen sus contratos reales en la testnet Bradbury y midan su rendimiento con transacciones históricas: benchmarks de casos de uso reales de producción en una red descentralizada.

Pasemos ahora a profundizar en varias áreas de investigación y experimentación.

Greyboxing

El Greyboxing es una capacidad exclusiva de los validadores de GenLayer. Les permite aplicar transformaciones arbitrarias antes de cada llamada a un LLM. Cualquier entrada o contexto puede capturarse, analizarse y modificarse, y se pueden tomar decisiones antes de enviar el prompt a los LLM.

Esto abre un abanico enorme de posibilidades para que los validadores mejoren el rendimiento, reduzcan costes y refuercen la seguridad.

Enrutamiento de modelos

Los validadores no están atados a un único LLM: pueden usar modelos distintos para contratos distintos. Supongamos que ejecutamos un contrato miles de veces al día. Tendría sentido que los validadores hicieran fine-tuning o destilaran un modelo más pequeño con todos los pares de entrada y salida que tienen, para acabar con un modelo más barato, más rápido y con mejor rendimiento que el que usan por defecto.

En el caso contrario, si un validador forma parte de una gran apelación con 1000 validadores, tendría sentido que usara el modelo más potente a su alcance para intentar dar la decisión más precisa, la que tiene más probabilidades de coincidir con la mayoría, y así obtener una recompensa en vez de quedar en minoría y sufrir una penalización.

A esto lo llamamos enrutamiento de modelos, y es un área de investigación abierta. Los validadores necesitan routers que ahorren costes según la complejidad de cada contrato; quienes destaquen en el enrutamiento de modelos obtendrán más recompensas y harán avanzar GenLayer. Animamos a desarrollar routers de forma independiente para ganar ventaja competitiva.

Inyección de prompts universal

La inyección de prompts es una vulnerabilidad conocida de los LLM. Salvo que cambie a fondo la estructura de los Transformers, esta familia de ataques ha venido para quedarse. Optimistic Democracy ayuda mucho en este sentido, porque no basta con atacar con éxito a un modelo: hay que vencer a la mayoría de los LLM que participan en el consenso. Es una capa extra de protección que viene de serie.

Pero no es suficiente, porque en el pasado se han encontrado ataques universales de inyección de prompts (y podrían volver a aparecer) capaces de romper muchos LLM distintos. Para mitigarlos (a ellos y a otros tipos de ataques), cada nodo puede revisar los prompts y las entradas del contrato antes de llamar al LLM y aplicar filtros que hacen estos ataques exponencialmente más difíciles. Como los modelos nuevos salen con poca frecuencia, son los validadores quienes pueden mantener GenLayer seguro.

Constitución de GenLayer

Como parte de nuestra hoja de ruta de gobernanza, definiremos una Constitución de GenLayer, acordada por todo el ecosistema, en la que podremos decidir qué tipo de transacciones queremos ejecutar en GenLayer y cuáles preferimos prohibir. Abriremos un diálogo con todo el ecosistema para acordar y redactar juntos nuestra Constitución.

Durante la fase de Greyboxing, cualquier validador puede comprobar si una transacción infringe la Constitución y decidir no procesarla.

Benchmarks

Para poner en práctica todas las ideas anteriores e iterar sobre ellas, necesitamos una referencia que nos permita medir de verdad y averiguar qué mejora el rendimiento. Necesitaremos benchmarks en forma de Intelligent Contracts y conjuntos de datos que definan una transacción y el estado final del contrato. Así, después de cada modificación, podremos ejecutar los benchmarks y ver el impacto del cambio.

Algunos de estos benchmarks serán discretos; por ejemplo, el contrato LLM ERC-20, que define claramente el estado de salida esperado para cada entrada. Otros pueden consistir en comprobar con LLM ciertas propiedades de los resultados, o simplemente en enviar el tráfico de producción de dApps que ya funcionan en Studio (Intelligent Oracle, Rally, Unstoppable, etc.) a una copia «en sombra» de cada dApp que funcione en Bradbury, y calcular la desviación.

Como el equipo principal y muchos validadores estarán experimentando constantemente con su configuración, esperamos ejecutar estos benchmarks de forma periódica para tener un historial de la evolución de Bradbury. Es lo que llamamos el Bradbury Gym, que muy probablemente se integrará con el Points System.

Con estos benchmarks podremos probar el rendimiento de distintos tipos de modelos y determinar qué contratos funcionan con modelos más baratos y cuáles con modelos de frontera.

Gas y comisiones

GenLayer tiene un sistema nuevo de recompensas y penalizaciones que depende de cómo vota cada validador y de si queda en la mayoría o en la minoría. El equipo principal está terminando ahora mismo de implementar esta funcionalidad. Cuando esté lista, dará a los validadores el incentivo y el mecanismo de retroalimentación que necesitan para ajustar sus nodos y hacer un análisis de costes.

Queremos contrastar nuestras hipótesis y simulaciones iniciales con el uso real en la testnet y ajustar las constantes del sistema en consecuencia. Por ejemplo, estimamos que, si se paga a los validadores como gas entre 60 y 100 veces el coste de inferencia de cada transacción, a un validador no le resulta rentable ser perezoso (aceptar siempre la respuesta del líder).

Queremos comprobar empíricamente esta hipótesis y montar las herramientas necesarias para seguir comprobándola durante la mainnet, porque tendremos que ajustar estas constantes a medida que aparezcan nuevos modelos de frontera y baje el precio de la inferencia mientras GenLayer siga funcionando.

Diversidad de modelos

Optimistic Democracy se beneficia de la diversidad de modelos, es decir, de LLM distintos, configuraciones iniciales distintas (semilla, temperatura, etc.) o checkpoints de entrenamiento distintos, que reducen lo suficiente la correlación (aportan independencia) para que el consenso converja hacia las respuestas correctas.

Ahora mismo estamos definiendo las bases matemáticas para poder hacer pruebas empíricas y benchmarks en Bradbury con casos de uso reales y medir el impacto de la correlación entre modelos. Queremos experimentar y ofrecer un conjunto de configuraciones por defecto que nos ayude a lograr los mejores resultados. Se podría crear un asistente de configuración en la GenLayer CLI para ayudar a los validadores a configurar sus nodos según las buenas prácticas que vayamos descubriendo.

Tenemos que crear el marco adecuado para que surja la diversidad entre los validadores. Por suerte, contamos con muchas herramientas, como que la GenLayer Foundation recompense los modelos menos usados y subvencione configuraciones concretas.

También tenemos que trabajar en un mecanismo de autodeclaración con metadatos por transacción.

Apelaciones

Un área de investigación abierta es el mecanismo de apelación del consenso Optimistic Democracy. Como es un algoritmo optimista, empieza «barato», sin consumir muchos recursos: arranca con 5 validadores y puede llegar hasta 1000. El apelante que gana una apelación recibe una recompensa por su esfuerzo. Eso significa que hay recompensas al alcance de quien apele rápido cuando la respuesta puede no ser correcta. Es un papel que, en la práctica, aún está por explorar dentro de GenLayer.

El apelante tiene a su disposición todos los datos históricos de los validadores, qué validadores participaron en la ronda actual, el propio contrato y todos los datos de la transacción. Con toda esta información puede evaluar cada transacción y decidir si vale la pena profundizar en un análisis que podría acabar en una apelación ganada. Cuando una transacción se marca como sospechosa, el apelante puede ejecutar off-chain un modelo de última generación (mucho más barato), deducir el voto esperado y decidir si apela o no.

Hay muchas estrategias posibles, como el análisis estadístico, los algoritmos clásicos de ML, las apelaciones voraces ante votos en minoría y muchas otras. Los apelantes pueden ser los propios validadores (tienen acceso a todos los datos en tiempo real) o un bot que vigile la red. Aún no tenemos claro qué implementación técnica se usará.

Implicación de la comunidad

Por último, pero no por ello menos importante, estamos ideando algunas dinámicas gamificadas para la comunidad, como intentar romper el contrato Wizard of Coin durante Bradbury.

También estamos preparando retos para que los investigadores compitan, con los que mejorarán el rendimiento general y lo que sabemos de GenLayer.

Para terminar

La testnet Bradbury es un campo de pruebas abierto para que cualquiera ponga a prueba sus teorías más prometedoras para hacer avanzar GenLayer. Hay que subrayar que, para que Bradbury tenga éxito, necesitaremos la participación y la implicación activas de todos los actores de GenLayer: validadores, desarrolladores, investigadores y miembros de la comunidad. Tenemos algunas ideas sobre cómo incentivarlo, que compartiremos en próximas comunicaciones.

Este es un artículo bastante técnico, con mucha información que digerir, y quedan muchas áreas abiertas por explorar. Llevamos años trabajando en estas ideas y queríamos darte un adelanto de lo que viene. Nos emociona mucho ver por fin cómo la testnet Bradbury se hace realidad y compartirla contigo.

Si te interesa participar en GenLayer y en la testnet Bradbury, únete a nuestro Points System.