Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

Anwendungsfall

Aktivität

Sortieren nach

117

Werkzeug-Rangliste

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

  1. 1

    Sonstige
    Aktiv

    Terminal-first validation harness for reviewing PRDs, RFCs, strategy docs, and experiment plans.

    TypeScript
    • ai-agents
    • claude-code
    • claude-code-skills
    • cli
    • evals

    githubgemessenes WachstumQuelle öffnen ↗

    1GitHub-Sternestabil
  2. 2

    Agent
    Aktiv

    The agent framework where the model never holds the trigger — every consequential action clears your policy first, waits for a human when it matters, and lands on a record you can verify. Build on it, or put it around the agent you already…

    PythonLizenz: Apache-2.0
    • a2a
    • agent-framework
    • ai-agents
    • ai-governance
    • ai-safety

    githubgemessenes WachstumQuelle öffnen ↗

    1GitHub-Sternestabil
  3. 3

    MCP
    Aktiv

    Vendor-neutral OpenTelemetry tracing for A2A agents and MCP services, with W3C context propagation and privacy-safe telemetry.

    PythonLizenz: MIT
    • a2a
    • agent2agent
    • agentic-ai
    • ai-agents
    • clean-architecture

    githubgemessenes WachstumQuelle öffnen ↗

    1GitHub-Sternestabil
  4. 4

    Skill
    Aktiv

    Agent Skill that asks: should there be an agentic system at all? Then designs, builds, audits, verifies, and ports systems—from workflows to governed teams.

    PythonLizenz: Apache-2.0
    • agent-skills
    • agentic-ai
    • ai-agents
    • anthropic-skills
    • antigravity

    githubgemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/ingcontartese-netizen/multi-agent-system-architect-v2 ~/.claude/skills/multi-agent-system-architect-v2

    1GitHub-Sternestabil
  5. 5

    MCP
    Aktiv

    Architecture-first Python scaffold for an auditable multi-agent corporate credit desk using A2A, MCP, deterministic credit policies, model routing, and OpenTelemetry.

    Python
    • a2a-protocol
    • agentic-ai
    • auditability
    • clean-architecture
    • credit-risk

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  6. 6

    Agent
    Ruhend

    Contract-based testing for LLM agents: hybrid evaluation, multi-agent + A2A, deterministic replay.

    PythonLizenz: MIT
    • a2a
    • agents
    • contracts
    • evaluation
    • llm

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  7. 7

    Agent
    Aktiv

    面向长程研发任务的 Java Agent Harness，支持 A2A 跨语言协作、可恢复执行、上下文工程与 Eval 驱动开发。

    JavaLizenz: Apache-2.0
    • a2a
    • agentic-ai
    • ai-agents
    • developer-tools
    • evals

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  8. 8

    Agent
    Aktiv

    Local-first control plane for durable, governed agent teams: DAG orchestration, approvals, memory, signed skills, trace contracts, and realtime.

    PythonLizenz: Apache-2.0
    • a2a-protocol
    • agentic-ai
    • ai-agents
    • fastapi
    • llmops

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  9. 9

    Agent
    Aktiv

    A2A green-agent orchestrator for evaluating agents on the AppWorld benchmark, built on the AgentBeats SDK

    Python
    • a2a-protocol
    • agentbeats
    • appworld
    • evaluation
    • llm-agents

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  10. 10

    Sonstige
    Aktiv

    🔑 HomeStream · 家园·流 — 零成本自托管多Agent协作框架，通往AI世界的那把钥匙 | Zero-cost self-hosted multi-agent framework — The key to AI world

    PythonLizenz: MIT
    • a2a-protocol
    • agent-framework
    • ai
    • causal-memory
    • event-stream

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  11. 11

    Agent
    Ruhend

    A Python proof-of-concept for tracing multi-turn Agent-to-Agent (A2A) conversations as a single unified MLflow trace for LLM observability and evaluation.

    Python
    • a2a
    • agent-to-agent
    • ai-agents
    • conversational-ai
    • llm-evaluation

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  12. 12

    MCP
    Aktiv

    AgentGateway — independent third-party profile of a public API surface, by API Evangelist. AgentGateway is an open-source, AI-native proxy and gateway for routing, observing, and governing traffic to and from AI agents, LLM providers, and…

    • agent-to-agent
    • ai-gateway
    • api-gateway
    • apis-json
    • cncf

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  13. 13

    Agent
    Ruhend

    OpenTelemetry semantic conventions and instrumentation for agent provenance, derivation lineage, and acceptance criteria evaluation. Fills the Microsoft AI stack observability gap.

    Python
    • a2a-protocol
    • agentic-ai
    • ai-agents
    • observability
    • opentelemetry

    githubgemessenes WachstumQuelle öffnen ↗

    0GitHub-Sternestabil
  14. 14

    MCP
    Aktiv

    Governed local-LLM observability: model policy, prompt scanner, capture proxy, 21 tools.

    PythonLizenz: MIT

      mcpgemessenes WachstumQuelle öffnen ↗

      Installieren claude mcp add ai-guardian -- uvx ai-guardian-aiops

      0GitHub-Sternestabil
    • 15

      Agent
      Ruhend

      AgentOps: Multi-agent infrastructure remediation platform. A2A protocol, agent coordination, HITL approval, auto-rollback.

      PythonLizenz: MIT
      • a2a-protocol
      • ai
      • automation
      • infrastructure
      • llm

      githubgemessenes WachstumQuelle öffnen ↗

      0GitHub-Sternestabil
    • 16

      Agent
      Aktiv

      Provide clear documentation for AgentStack’s MCP protocol, plugins, and ecosystem API with usage examples and tool references.

      • a2a
      • anthropic
      • claude-code
      • crewai
      • deep-learning

      githubgemessenes WachstumQuelle öffnen ↗

      0GitHub-Sternestabil

    Lern- und Referenzressourcen

    Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

    1. 1

      production-ai-engineering

      Agent
      AktivQuelle öffnen ↗

      Handbook técnico aberto sobre engenharia de IA em produção: ML tradicional, LLMs, RAG, agentes, segurança, observabilidade, FinOps e deployment.

      Markdown
      • a2a-protocol
      • agentic-ai
      • ai
      • ai-agents
      • ai-engineering
      githubRessourcegemessenes Wachstum
      1GitHub-Sternestabil