LLM-Beobachtbarkeit

Werkzeug-Rangliste

Ranked by creation date, newest first; undated entries come last. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1. 1

   green-agent

   Agent

   AktivLetzter Commit vor 2 Monaten · 2026-07-01

   A2A green-agent orchestrator for evaluating agents on the AppWorld benchmark, built on the AgentBeats SDK

   Python

   • a2a-protocol
   • agentbeats
   • appworld
   • evaluation
   • llm-agents

   githubvor 11 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   0GitHub-Sternestabil
2. 2

   io.github.OtherVibes/mcp-as-a-judge

   MCP

   RuhendLetzter Commit vor 8 Monaten · 2025-12-15

   MCP as a Judge: a behavioral MCP that strengthens AI coding assistants via explicit LLM evaluations

   PythonLizenz: MIT

   mcpvor 12 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   Installieren claude mcp add mcp-as-a-judge -- uvx mcp-as-a-judge

   17GitHub-Sternestabil
3. 3

   adl-cli

   Sonstige

   AktivLetzter Commit vor 2 Tagen · 2026-09-04

   A command-line tool to scaffold and manage enterprise-ready AI Agents powered by the A2A (Agent-to-Agent) protocol

   GoLizenz: Apache-2.0

   • a2a
   • agents
   • ai
   • containerized
   • docker

   githubvor 13 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   14GitHub-Sternestabil
4. 4

   agent-kernel

   Agent

   AktivLetzter Commit heute · 2026-09-06

   The Operating System for Scalable Enterprise AI Agents - Run, orchestrate, and deploy Compliant Enterprise AI Agents at scale across frameworks, without lock-in, rewrites or fragile glue code. Native support for MCP, A2A. Interface with all…

   PythonLizenz: Apache-2.0

   • a2a
   • adk
   • ai-agents
   • aws
   • azure

   githubvor 13 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   166GitHub-Sterne+10 (+6.4 %)
5. 5

   OpenJudge

   Skill

   AktivLetzter Commit vor 34 Tagen · 2026-08-03

   OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards

   PythonLizenz: Apache-2.0

   • agent
   • agent-skills
   • ai-agent
   • alignment
   • evaluation

   githubvor 14 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   Installieren git clone https://github.com/agentscope-ai/OpenJudge ~/.claude/skills/OpenJudge

   817GitHub-Sterne+8 (+0.99 %)
6. 6

   idun-agent-platform

   Skill

   AktivLetzter Commit vor 31 Tagen · 2026-08-06

   🟪 Open-source runtime that ships any LangGraph or Google ADK agent as a production-ready FastAPI service. Bundled , AG-UI copilotkit API, chat UI, 15+ guardrails, MCP, OpenTelemetry, OIDC. One pip install. Self-hosted, no vendor lock-in.

   PythonLizenz: GPL-3.0

   • a2a-protocol
   • ag-ui-protocol
   • agent-platform
   • agentic-ai
   • agents

   githubvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   Installieren git clone https://github.com/Idun-Group/idun-agent-platform ~/.claude/skills/idun-agent-platform

   199GitHub-Sterne+1 (+0.51 %)
7. 7

   trpc-agent-go

   MCP

   AktivLetzter Commit vor 1 Tag · 2026-09-06

   A Go framework for building production agent systems with graph workflows, tools, memory, A2A, AG-UI, MCP, evaluation, and observability.

   GoLizenz: Apache-2.0

   • a2a
   • a2a-protocol
   • ag-ui
   • agent
   • agent-framework

   githubvor 16 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   1 766GitHub-Sterne+7 (+0.40 %)
8. 8

   com.pulsemcp/langfuse

   MCP

   AktivLetzter Commit vor 7 Tagen · 2026-08-30

   MCP server for Langfuse LLM observability — trace and observation analysis.

   TypeScriptLizenz: MIT

   mcpvor 16 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   Installieren claude mcp add langfuse -- npx langfuse-observability-mcp-server

   80GitHub-Sterne+2 (+2.6 %)
9. 9

   langfuse-mcp

   MCP

   AktivLetzter Commit heute · 2026-09-06

   A Model Context Protocol (MCP) server for Langfuse, enabling AI agents to query Langfuse trace data for enhanced debugging and observability

   PythonLizenz: MIT

   • agent-skills
   • ai-agents
   • claude-code
   • codex
   • developer-tools

   githubvor 17 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

   105GitHub-Sternestabil
10. 10

    Agents-eval

    Agent

    RuhendLetzter Commit vor 3 Monaten · 2026-05-17

    A Multi-Agent System (MAS) evaluation framework using PydanticAI that generates and evaluates scientific paper reviews through a three-tiered assessment approach: traditional metrics, LLM-as-a-Judge, and graph-based complexity analysis.

    PythonLizenz: Apache-2.0

    • a2a-protocol
    • agent-evaluation
    • agentbeats
    • ai-agents
    • benchmarks

    githubvor 19 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    2GitHub-Sternestabil
11. 11

    mastra

    Sonstige

    AktivLetzter Commit heute · 2026-09-07

    Mastra is the modern TypeScript framework for AI-powered applications and agents.

    TypeScript

    • agents
    • ai
    • chatbots
    • evals
    • javascript

    githubvor 2 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    27 745GitHub-Sterne+144 (+0.52 %)
12. 12

    openstatus

    MCP

    AktivLetzter Commit heute · 2026-09-06

    🫖 Status page with uptime monitoring & API monitoring as code 🫖

    TypeScriptLizenz: AGPL-3.0

    • alerting
    • incident-management
    • mcp
    • mcp-server
    • monitoring

    githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    9 072GitHub-Sterne+27 (+0.30 %)
13. 13

    garak

    Sonstige

    AktivLetzter Commit vor 2 Tagen · 2026-09-04

    the LLM vulnerability scanner

    PythonLizenz: Apache-2.0

    • ai
    • llm-evaluation
    • llm-security
    • security-scanners
    • vulnerability-assessment

    githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    9 128GitHub-Sterne+22 (+0.24 %)
14. 14

    promptfoo

    Sonstige

    AktivLetzter Commit heute · 2026-09-07

    Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI…

    TypeScriptLizenz: MIT

    • ci
    • ci-cd
    • cicd
    • evaluation
    • evaluation-framework

    githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    24 872GitHub-Sterne+162 (+0.66 %)
15. 15

    openobserve

    Sonstige

    AktivLetzter Commit heute · 2026-09-07

    Open source observability platform for logs, metrics, traces, RUM, Session replay, pipelines, SLO and LLM observability. A sophisticated, simple and highly performant alternative to Datadog, Splunk, and Elasticsearch with 140x lower storage…

    TypeScriptLizenz: AGPL-3.0

    • analytics
    • apm
    • datadog
    • elasticsearch
    • grafana

    githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    21 666GitHub-Sterne+72 (+0.33 %)
16. 16

    kubeshark

    Agent

    AktivLetzter Commit vor 6 Tagen · 2026-09-01

    eBPF-powered network observability for Kubernetes. Indexes L4/L7 traffic with full K8s context, decrypts TLS without keys. Queryable by AI agents via MCP and humans via dashboard.

    GoLizenz: Apache-2.0

    • cloud-native
    • devops
    • docker
    • ebpf
    • golang

    githubvor 5 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    12 069GitHub-Sterne+4 (+0.03 %)
17. 17

    signoz

    Sonstige

    AktivLetzter Commit heute · 2026-09-07

    SigNoz is an open-source, OpenTelemetry-native observability platform for your team and their AI agents. Get logs, metrics, and traces in one tool with features like APM, distributed tracing, log management, infra monitoring, etc. Combined…

    TypeScript

    • apm
    • application-monitoring
    • distributed-tracing
    • go
    • good-first-issue

    githubvor 5 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    32 030GitHub-Sterne+47 (+0.15 %)
18. 18

    vector

    Sonstige

    AktivLetzter Commit vor 2 Tagen · 2026-09-05

    A high-performance observability data pipeline.

    RustLizenz: MPL-2.0

    • agent
    • cloud-native
    • data-transformation
    • datadog
    • etl

    githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    22 516GitHub-Sterne+19 (+0.08 %)
19. 19

    prefect

    Bibliothek

    AktivLetzter Commit heute · 2026-09-06

    Prefect is a workflow orchestration framework for building resilient data pipelines in Python.

    PythonLizenz: Apache-2.0

    • automation
    • data
    • data-engineering
    • data-ops
    • data-science

    githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    23 791GitHub-Sterne+50 (+0.21 %)
20. 20

    mlflow

    Agent

    AktivLetzter Commit heute · 2026-09-07

    The open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models…

    PythonLizenz: Apache-2.0

    • agentops
    • agents
    • ai
    • ai-governance
    • apache-spark

    githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    27 837GitHub-Sterne+78 (+0.28 %)
21. 21

    cilium

    Sonstige

    AktivLetzter Commit heute · 2026-09-06

    eBPF-based Networking, Security, and Observability

    GoLizenz: Apache-2.0

    • bpf
    • cncf
    • cni
    • containers
    • ebpf

    githubvor 10 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    25 088GitHub-Sterne+53 (+0.21 %)
22. 22

    netdata

    Sonstige

    AktivLetzter Commit heute · 2026-09-07

    The fastest path to AI-powered full stack observability, even for lean teams.

    GoLizenz: GPL-3.0

    • ai
    • alerting
    • cncf
    • data-visualization
    • database

    githubvor 13 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    80 446GitHub-Sterne+64 (+0.08 %)