AgentVerse
Kimliği ve öğrendiği becerileri kalıcı olan ajanları simüle ortamlarda eğitmek için açık kaynak, local-first deney aracı; LLM, ücretli API veya GPU gerektirmez.
Rol — Tekrarlanabilir pekiştirmeli öğrenme deneyleri; olumlu ve olumsuz transfer sonuçlarını açıkça raporlayan araştırma prototipi.
Kısa Bilgiler
- Rol
- Tekrarlanabilir pekiştirmeli öğrenme deneyleri; olumlu ve olumsuz transfer sonuçlarını açıkça raporlayan araştırma prototipi.
- Durum
- Araştırma Prototipi
- Seri
- Bağımsız artifact
- Kategori
- Makine Öğrenmesi Araştırması
- Ana Girdi
- Adlandırılmış ajan, seed ve ortam tanımı
- Ana Çıktı
- Sürümlü beceri snapshot’ları, öğrenme eğrileri, raporlar ve replay
Sistem Özeti
AgentVerse şu soruyu araştırır: bağımsız eğitilen ajanlar becerilerini koruyup ileride farklı görevlerde yeniden kullanabilir mi — bir LLM’e, ücretli API’ye veya merkezi bir çıkarım sunucusuna ihtiyaç duymadan?
İlk prototip sabit bir 2B navigasyon dünyasında tabular Q-learning kullanır. Genel amaçlı bir zeki ajan veya hazır çok dünyalı bir platform değil; tekrarlanabilir bir öğrenme deneyidir.
Mevcut Kapsam
M1: kalıcı kimlikli adlandırılmış ajan, 5×5 Gymnasium navigasyon ortamı, seed’li Q-learning, rastgele politika baseline’ı ve eşli değerlendirme, sürümlü/checksum’lı beceri snapshot’ları, metrikler, PNG öğrenme eğrileri ve etkileşimli replay. M2: Navigation ve Resource Collection olmak üzere ajan başına birden fazla bağımsız beceri.
Deneysel M3-A, navigasyon haritasında hedef yer değiştirme transferini test eder; olumlu ve olumsuz transfer gözlemlendi. M3-B, Navigation → Collection transfer adaptörünü ve kontrol gruplarını uygular; faydalı öğrenilmiş transfer kanıtlanmadı. Mevcut beceriden eğitime devam etmek henüz yoktur.
Ana Sistemler
- AgentCore Identity
- Seeded Tabular Q-learning
- 5×5 Gymnasium Navigation World
- Resource Collection Skill (M2)
- Versioned / Checksummed Skill Snapshots
- Random-policy Baseline / Paired Evaluation
- Interactive Replay (Step · Play · Reset)
- Goal Relocation Transfer (M3-A)
- Navigation → Collection Transfer Adapter (M3-B)
Teknik Etiketler
- Python 3.12
- Gymnasium
- NumPy
- Matplotlib
- Tabular Q-learning
- pytest
Girdi → İşleme → Çıktı
Girdi
Adlandırılmış ajan, seed ve ortam tanımı
İşleme
Seed’li Q-learning eğitimi, baseline ile eşli değerlendirme ve transfer deneyleri
Çıktı
Sürümlü beceri snapshot’ları, öğrenme eğrileri, raporlar ve replay
Mimari Akış
- 01
Create Named Agent
- 02
Train (seeded)
- 03
Evaluate vs Random Baseline
- 04
Save Checksummed Skill
- 05
Report / PNG Curves
- 06
Replay Policy
- 07
Transfer Experiments (M3)
Tasarım Kararları
Önce tekrarlanabilirlik
Her eğitim ve değerlendirme seed’lidir; aynı seed ile replay aynı başlangıcı yeniden oynatır.
Olumsuz sonucu da yayımlamak
Transfer deneylerinde başarısız ya da olumsuz sonuçlar README’de açıkça yazılır; ortak bir ortam API’si becerinin otomatik transfer edildiği anlamına gelmez.
Altyapı gerektirmeyen başlangıç
M1 yalnız Python 3.12 ile çalışır; GPU, hesap, API anahtarı veya barındırılan sunucu gerekmez.
Sınırlar
- Erken prototiptir (v0.1.0); çok ajanlı rekabet, Arena ve topluluk dünyaları gelecek hedefleridir.
- `train` komutu şu an her seferinde yeni Q-table ile başlar; sürekli öğrenme gösterilmedi.
- Genel çapraz beceri transferi kanıtlanmadı.
Planlanan Genişletmeler
- Mevcut beceriden eğitime devam etme ve sürekli öğrenme deneyleri.
- Training Grounds, Arena ve topluluk ortam arayüzü.