Bradbury test ağını duyuruyoruz

Son yazımızda, ana ağa giden yoldaki bir sonraki kilometre taşımız olan Bradbury test ağına değinmiştik. Bu yazıda sizi Bradbury vizyonumuzu benimle birlikte derinlemesine incelemeye, ulaşmak istediğimiz hedeflere ve yapmak istediğimiz deneylere yakından bakmaya davet ediyorum.

Bradbury, yapay zekânın blokzincir konsensüsüyle buluştuğu yer, hem de ilk kez. Asimov sürecinde altyapının temellerini attık ve sistemin bütün parçalarını birbirine bağladık. Bradbury'de son malzemeyi eklemeye hazırız: LLM çıkarımı.

Doğrulayıcılarımız şimdiye kadar çıkarım ortaklarımızın sübvanse ettiği LLM'leri kullanıyordu: @ionet, @heurist_ai / @Libertai_DAI ve @comput3ai test ağı süresince doğrulayıcılarımızı ücretsiz kredilerle destekliyor. Asimov'da gerçek “üretim” sözleşmeleri çalıştırmadığımız için her doğrulayıcının hangi LLM'i seçtiği önemsizdi. Bradbury'de bütün odak bu karara kayıyor: Uygun bir model nasıl seçilir ve GenLayer'dan en iyi performans nasıl alınır?

Bradbury test ağını daha önce, en iyi performansa ulaşmak için araştırma ve deneylerin bir arada yürüdüğü bir “araştırmacıların idman salonu” olarak tanımlamıştım. Bence bu tanım, Bradbury'de olmasını hayal ettiğimiz şeyin özünü yakalıyor.

Bradbury ile pasif bir Asimov test ağından aktif ve katılımcı bir Bradbury test ağına geçiyoruz. Ortaklar, doğrulayıcılar, geliştiriciler ve araştırmacılar çok daha etkin bir rol üstlenecek.

Çıkarım ortaklarımızın rolü çok daha belirgin hâle gelecek: Doğrulayıcılarla etkileşime girecek, her modelin GenLayer üzerinde nasıl performans gösterdiğini anlamaya çalışacak ve alternatif modeller sunacaklar. Bu alanın uzmanları onlar; katkıları son derece değerli olacak.

GenLayer, doğrulayıcılara keşfedilecek yeni bir fırsat katmanı sunuyor. Optimistic Democracy konsensüsü, deterministik olmayan işlemleri devreye sokarak alışılmış yolun dışına çıkıyor ve keşfedilmemiş topraklara giriyor. Bradbury'nin en büyük hedefi, doğrulayıcıların yapay zekâ dünyasındaki hızlı gelişmeleri öğrenip takip etmesi; böylece hem GenLayer'ın olabildiğince iyi çalışmasını sağlamaları hem de kendi ödüllerini en üst düzeye çıkarmaları. Doğrulayıcılar için küçük bir atölye de düzenleyeceğiz: Kendi Intelligent Contract'larını yayına alıp geliştiricinin bakış açısını anlayacaklar.

Geliştiriciler uygulamalarını Bradbury'de yayına almaya başlayabilir ve oradaki yürütmeyi Studio ile karşılaştırarak sistemin ince ayarına yardımcı olabilir. Performansı değişkenlik göstereceği ve geçmişi zaman zaman sıfırlanacağı için Bradbury'de üretim uygulamaları çalıştırmayacağız. Ama Rally, Unstoppable ya da GenLayer Playverse oyunları gibi projeler için bu, gerçek sözleşmelerini Bradbury test ağında yayına alıp geçmiş işlemlerle performanslarını ölçme fırsatı olacak: gerçek üretim senaryolarını merkeziyetsiz bir ağda kıyaslamak.

Şimdi gelin, birkaç araştırma ve deney alanına yakından bakalım.

Greyboxing

Greyboxing, GenLayer doğrulayıcılarına özgü bir yetenek. Doğrulayıcılara her LLM çağrısından önce istedikleri dönüşümü uygulama imkânı verir. Her girdi ve bağlam yakalanabilir, analiz edilebilir ve değiştirilebilir; LLM'lere istem göndermeden önce kararlar alınabilir.

Bu da doğrulayıcıların performansı artırması, maliyetleri düşürmesi ve güvenliği sıkılaştırması için çok geniş bir olanak yelpazesi açar.

Model yönlendirme

Doğrulayıcılar tek bir LLM'e bağlı değil. Farklı sözleşmeler için farklı LLM'ler kullanabilirler. Diyelim ki bir sözleşmeyi günde binlerce kez çalıştırıyoruz. Bu durumda doğrulayıcıların ellerindeki tüm girdi-çıktı çiftleriyle daha küçük bir modele ince ayar yapması ya da onu damıtması mantıklı olur. Sonunda varsayılan modellerinden daha ucuz, daha hızlı ve daha başarılı bir modele sahip olurlar.

Tersi durumda, bir doğrulayıcı 1.000 doğrulayıcının katıldığı büyük bir itirazın parçasıysa elindeki en güçlü modeli çalıştırması mantıklı olur. Böylece çoğunluğun tarafında yer alma olasılığı en yüksek, en isabetli kararı üretmeye çalışır; azınlıkta kalıp ceza almak yerine ödül kazanır.

Buna model yönlendirme diyoruz ve bu, açık bir araştırma alanı. Doğrulayıcıların farklı sözleşme karmaşıklıkları için maliyet tasarrufu sağlayan yönlendiricilere ihtiyacı var. Model yönlendirmede öne çıkanlar daha fazla ödül kazanacak ve GenLayer'ı ileri taşıyacak. Rekabet avantajı elde etmek için bağımsız yönlendiriciler geliştirilmesini teşvik ediyoruz.

Evrensel prompt injection

Prompt injection, LLM'lerin bilinen bir açığı. Transformer'ların temel yapısında büyük bir değişiklik olmadıkça bu saldırı ailesi var olmaya devam edecek. Optimistic Democracy bu konuda çok işe yarar, çünkü saldırının başarılı olması için tek bir modeli değil, konsensüse katılan LLM'lerin çoğunluğunu kandırmak gerekir. Bu da hiçbir ek maliyet olmadan fazladan bir koruma katmanı sağlar.

Ancak bu yeterli değil, çünkü geçmişte birçok farklı LLM'i başarıyla kıran evrensel prompt injection saldırıları bulundu (ve gelecekte yine bulunabilir). Bunu (ve başka saldırı türlerini) hafifletmek için her düğüm, LLM'i çağırmadan önce sözleşmenin istemlerini ve girdilerini kontrol edebilir ve bu tür saldırıları katlanarak zorlaştıran filtreler uygulayabilir. Modeller seyrek aralıklarla yayımlandığı için GenLayer'ı güvende tutabilecek olanlar doğrulayıcılardır.

GenLayer Anayasası

Yönetişim yol haritamızın bir parçası olarak, tüm ekosistemin üzerinde anlaştığı bir GenLayer Anayasası tanımlayacağız. Bu anayasayla GenLayer'da ne tür işlemleri yürütmek, hangilerini yasaklamak istediğimize karar verebileceğiz. Anayasamızı birlikte kararlaştırıp yazmak için ekosistem genelinde açık bir diyalog yürütülecek.

Greyboxing adımında herhangi bir doğrulayıcı Anayasa ihlallerini kontrol edebilir ve bir işlemi işlememeye karar verebilir.

Kıyaslama testleri

Bütün bu fikirleri hayata geçirip adım adım geliştirebilmek için bir referans noktasına ihtiyacımız var; ancak böylece performansı neyin artırdığını gerçekten ölçebilir ve bulabiliriz. Bir işlemi ve sözleşmenin nihai durumunu tanımlayan Intelligent Contract'lar ve veri kümeleri biçiminde kıyaslama testlerine (benchmark) ihtiyacımız olacak. Böylece her değişiklikten sonra kıyaslama testlerini çalıştırıp o değişikliğin etkisini görebiliriz.

Bu kıyaslama testlerinin bazıları kesin sonuçlu olacak; örneğin her girdiye karşılık beklenen çıktı durumunu açıkça tanımlayan LLM ERC-20 sözleşmesini kullanmak gibi. Diğerleri çıktıların belirli özellikleri taşıyıp taşımadığını LLM'lerle kontrol etmeye ya da Studio'da hâlihazırda çalışan dApp'lerin (Intelligent Oracle, Rally, Unstoppable vb.) üretim trafiğini Bradbury'de “gölge” olarak çalışan bir dApp'e yönlendirip aradaki sapmayı hesaplamaya dayanabilir.

Çekirdek ekip ve pek çok doğrulayıcı kurulumları üzerinde sürekli deney yapacağı için bu kıyaslama testlerini düzenli aralıklarla çalıştırmayı ve böylece Bradbury'nin gelişiminin kaydını tutmayı bekliyoruz. Bradbury Gym dediğimiz şey de bu; büyük olasılıkla Points System ile entegre edilecek.

Bu kıyaslama testleriyle performansı farklı model türlerinde sınayabilir, hangi sözleşmelerin daha ucuz modellerle, hangilerinin öncü modellerle çalıştığını belirleyebiliriz.

Gas ve ücretler

GenLayer'ın, her doğrulayıcının nasıl oy verdiğine ve çoğunlukta mı azınlıkta mı kaldığına dayanan yeni bir ödül ve ceza sistemi var. Çekirdek ekip bu özelliğin uygulamasını şu anda tamamlıyor. Devreye girdiğinde doğrulayıcılara, düğümlerini ayarlamak ve maliyet analizi yapmak için ihtiyaç duydukları teşviki ve geri bildirim mekanizmasını sağlayacak.

İlk varsayımlarımızı ve simülasyonlarımızı test ağındaki gerçek kullanımla sınamak ve sistem sabitlerini buna göre ayarlamak istiyoruz. Örneğin, işlem başına çıkarım maliyetinin 60 ila 100 katını gas olarak doğrulayıcılara ödediğimizde bir doğrulayıcının tembellik etmesinin (liderin yanıtını her zaman kabul etmesinin) ekonomik açıdan hiçbir anlamı kalmayacağını tahmin ettik.

Bu hipotezi deneysel olarak sınamak ve bunu ana ağ döneminde de sürekli test edebilmek için gereken araçları kurmak istiyoruz. Çünkü GenLayer çalışmayı sürdürdükçe yeni öncü modeller çıkacak, çıkarım fiyatları düşecek ve bu sabitleri yeniden ayarlamamız gerekecek.

Model çeşitliliği

Optimistic Democracy model çeşitliliğinden yararlanır: Farklı LLM'ler, farklı başlangıç yapılandırmaları (tohum, sıcaklık vb.) ya da farklı eğitim kontrol noktaları, konsensüsün doğru yanıtlara yakınsaması için korelasyonu yeterince düşürür (yani bağımsızlık sağlar).

Şu anda matematiksel temelleri tanımlıyoruz; böylece Bradbury'de gerçek dünya senaryolarıyla deneysel testler ve kıyaslamalar yapıp model korelasyonunun etkisini ölçebileceğiz. En iyi sonuçlara ulaşmamıza yardımcı olacak varsayılan bir yapılandırma seti üzerinde deney yapıp bunu sunmayı hedefliyoruz. Doğrulayıcıların düğümlerini bulunan en iyi uygulamalara göre kurmalarına yardımcı olacak bir GenLayer CLI kurulum sihirbazı da geliştirilebilir.

Doğrulayıcılar arasında çeşitliliğin ortaya çıkması için uygun bir çerçeve oluşturmamız gerekiyor. Neyse ki elimizde pek çok araç var; örneğin GenLayer Foundation en az kullanılan modelleri ödüllendirebilir ve belirli yapılandırmaları sübvanse edebilir.

İşlem başına meta verilerle çalışan bir öz bildirim mekanizması üzerinde de çalışmamız gerekiyor.

İtirazlar

Açık araştırma alanlarından biri de Optimistic Democracy konsensüsünün itiraz mekanizması. İyimser bir algoritma olduğu için “ucuz” başlar ve fazla kaynak tüketmez: 5 doğrulayıcıyla başlarız ve bu sayı 1.000'e kadar çıkabilir. İtirazı başarılı olan taraf emeğinin karşılığını ödülle alır. Bu da, yanıtın doğru olmayabileceği durumlarda hızla itiraz ederek ödül kazanma fırsatı olduğu anlamına gelir. Bu, GenLayer içinde pratikte henüz keşfedilmemiş bir rol.

İtiraz edenin elinde doğrulayıcıların tüm geçmiş verileri, mevcut turda hangi doğrulayıcıların yer aldığı, sözleşmenin kendisi ve tüm işlem verileri bulunur. Bu bilgilerin hepsi, her işlemi değerlendirmek ve başarılı bir itirazla sonuçlanabilecek daha ileri bir analize değip değmeyeceğine karar vermek için kullanılabilir. Bir işlem şüpheli olarak işaretlendiğinde itiraz eden taraf zincir dışında son teknoloji bir model çalıştırabilir (bu çok daha ucuzdur), beklenen oyu çıkarabilir ve itiraz edip etmeyeceğine karar verebilir.

Burada istatistiksel analiz, klasik makine öğrenmesi algoritmaları, azınlık oylarına yönelik açgözlü (greedy) itirazlar ve daha pek çok strateji mümkün. İtiraz edenler doğrulayıcıların kendileri (tüm verilere gerçek zamanlı erişimleri var) ya da ağı izleyen bir bot olabilir. Hangi teknik uygulamanın kullanılacağından henüz emin değiliz.

Topluluk katılımı

Son olarak, oyunlaştırma yoluyla bazı topluluk etkinlikleri üzerine de kafa yoruyoruz; örneğin Bradbury süresince Wizard of Coin sözleşmesini kırmaya çalışmak gibi.

Araştırmacıların yarışacağı, GenLayer'ın genel performansını ve GenLayer hakkındaki bilgi birikimini artıracak görevler de hazırlıyoruz.

Son söz

Bradbury test ağı, herkesin GenLayer'ı ileri taşımak için en heyecan verici teorilerini sınayabileceği bir deneme alanı. Bradbury'nin başarısı için GenLayer'daki tüm aktörlerin aktif katılımına ve ilgisine ihtiyacımız olacağını belirtmek isterim: doğrulayıcılar, geliştiriciler, araştırmacılar ve topluluk üyeleri. Bunu nasıl teşvik edeceğimize dair bazı fikirlerimiz var; bunları önümüzdeki duyurularda paylaşacağız.

Bu, sindirilecek çok bilgi içeren oldukça teknik bir yazı. Keşfedilecek pek çok açık alan var. Bu fikirler üzerinde yıllardır çalışıyoruz ve size neler geleceğine dair bir fikir vermek istedik. Bradbury test ağının nihayet gerçeğe dönüşmek üzere olduğunu görmekten ve onu sizinle paylaşmaktan büyük heyecan duyuyoruz.

GenLayer'da ve Bradbury test ağında yer almak istiyorsanız Points System'imize katılın.