Arşive Dön
Araştırma Prototipi★ Öne çıkan

AgentVerse

Kimliği ve öğrendiği becerileri kalıcı olan ajanları simüle ortamlarda eğitmek için açık kaynak, local-first deney aracı; LLM, ücretli API veya GPU gerektirmez.

Rol — Tekrarlanabilir pekiştirmeli öğrenme deneyleri; olumlu ve olumsuz transfer sonuçlarını açıkça raporlayan araştırma prototipi.

Kısa Bilgiler

Rol
Tekrarlanabilir pekiştirmeli öğrenme deneyleri; olumlu ve olumsuz transfer sonuçlarını açıkça raporlayan araştırma prototipi.
Durum
Araştırma Prototipi
Seri
Bağımsız artifact
Kategori
Makine Öğrenmesi Araştırması
Ana Girdi
Adlandırılmış ajan, seed ve ortam tanımı
Ana Çıktı
Sürümlü beceri snapshot’ları, öğrenme eğrileri, raporlar ve replay

Sistem Özeti

AgentVerse şu soruyu araştırır: bağımsız eğitilen ajanlar becerilerini koruyup ileride farklı görevlerde yeniden kullanabilir mi — bir LLM’e, ücretli API’ye veya merkezi bir çıkarım sunucusuna ihtiyaç duymadan?

İlk prototip sabit bir 2B navigasyon dünyasında tabular Q-learning kullanır. Genel amaçlı bir zeki ajan veya hazır çok dünyalı bir platform değil; tekrarlanabilir bir öğrenme deneyidir.

Mevcut Kapsam

M1: kalıcı kimlikli adlandırılmış ajan, 5×5 Gymnasium navigasyon ortamı, seed’li Q-learning, rastgele politika baseline’ı ve eşli değerlendirme, sürümlü/checksum’lı beceri snapshot’ları, metrikler, PNG öğrenme eğrileri ve etkileşimli replay. M2: Navigation ve Resource Collection olmak üzere ajan başına birden fazla bağımsız beceri.

Deneysel M3-A, navigasyon haritasında hedef yer değiştirme transferini test eder; olumlu ve olumsuz transfer gözlemlendi. M3-B, Navigation → Collection transfer adaptörünü ve kontrol gruplarını uygular; faydalı öğrenilmiş transfer kanıtlanmadı. Mevcut beceriden eğitime devam etmek henüz yoktur.

Ana Sistemler

  • AgentCore Identity
  • Seeded Tabular Q-learning
  • 5×5 Gymnasium Navigation World
  • Resource Collection Skill (M2)
  • Versioned / Checksummed Skill Snapshots
  • Random-policy Baseline / Paired Evaluation
  • Interactive Replay (Step · Play · Reset)
  • Goal Relocation Transfer (M3-A)
  • Navigation → Collection Transfer Adapter (M3-B)

Teknik Etiketler

  • Python 3.12
  • Gymnasium
  • NumPy
  • Matplotlib
  • Tabular Q-learning
  • pytest

Girdi → İşleme → Çıktı

1

Girdi

Adlandırılmış ajan, seed ve ortam tanımı

2

İşleme

Seed’li Q-learning eğitimi, baseline ile eşli değerlendirme ve transfer deneyleri

3

Çıktı

Sürümlü beceri snapshot’ları, öğrenme eğrileri, raporlar ve replay

Mimari Akış

  1. 01

    Create Named Agent

  2. 02

    Train (seeded)

  3. 03

    Evaluate vs Random Baseline

  4. 04

    Save Checksummed Skill

  5. 05

    Report / PNG Curves

  6. 06

    Replay Policy

  7. 07

    Transfer Experiments (M3)

Tasarım Kararları

  • Önce tekrarlanabilirlik

    Her eğitim ve değerlendirme seed’lidir; aynı seed ile replay aynı başlangıcı yeniden oynatır.

  • Olumsuz sonucu da yayımlamak

    Transfer deneylerinde başarısız ya da olumsuz sonuçlar README’de açıkça yazılır; ortak bir ortam API’si becerinin otomatik transfer edildiği anlamına gelmez.

  • Altyapı gerektirmeyen başlangıç

    M1 yalnız Python 3.12 ile çalışır; GPU, hesap, API anahtarı veya barındırılan sunucu gerekmez.

Sınırlar

  • Erken prototiptir (v0.1.0); çok ajanlı rekabet, Arena ve topluluk dünyaları gelecek hedefleridir.
  • `train` komutu şu an her seferinde yeni Q-table ile başlar; sürekli öğrenme gösterilmedi.
  • Genel çapraz beceri transferi kanıtlanmadı.

Planlanan Genişletmeler

  • Mevcut beceriden eğitime devam etme ve sürekli öğrenme deneyleri.
  • Training Grounds, Arena ve topluluk ortam arayüzü.

Bağlantılar