Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

122

Werkzeug-Rangliste

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1
galdor
Sonstige
AktivLetzter Commit vor 10 Tagen · 2026-08-24
A Go-native framework for LLM agents, with OpenTelemetry observability built in.
GoLizenz: Apache-2.0
- a2a
- agents
- ai
- anthropic
- bedrock
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
10GitHub-Sternestabil
2
agent-inspector
Skill
RuhendLetzter Commit vor 7 Monaten · 2026-01-15
Local open-source dev tool to debug, secure, and evaluate LLM agents. Provides static analysis, dynamic security checks, and runtime monitoring - integrates with Cursor and Claude Code.
Python
- agent-debugging
- agent-security
- agent-trace
- ai-security-tool
- behavior-analysis
githubvor 10 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add cylestio/agent-inspector
9GitHub-Sternestabil
3
anchor
Skill
AktivLetzter Commit vor 14 Tagen · 2026-08-20
Anchor — the production-grade AGENTS.md template for AI coding agents. 51 sections of battle-tested rules. Keep your agents grounded.
Lizenz: MIT
- agent-instructions
- agents-md
- ai-agent-instructions
- ai-coding
- ai-coding-agent
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/peva3/anchor ~/.claude/skills/anchor
8GitHub-Sternestabil
4
adaptive-harness
Skill
RuhendLetzter Commit vor 5 Monaten · 2026-03-16
A self-improving harness router for Claude Code.
PythonLizenz: MIT
- a-b-testing
- ai-agent
- ai-orchestration
- ai-routing
- ai-workflow
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add SeongwoongCho/adaptive-harness
8GitHub-Sternestabil
5
memroos
Agent
AktivLetzter Commit vor 1 Tag · 2026-09-01
MemroOS / memroos: memory OS and governance layer for AI agents, agent workflows, dispatch, proof, and context continuity.
TypeScript
- a2a
- agent-governance
- agent-memory
- agent-orchestration
- agent-workflows
githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
7GitHub-Sternestabil
6
kiboserve
MCP
RuhendLetzter Commit vor 4 Monaten · 2026-04-25
Open-source Python framework to deploy AI agents via HTTP, A2A, and MCP with built-in observability
PythonLizenz: MIT
- a2a
- a2a-client
- a2a-server
- agent-evaluation
- agentic-ai
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
5GitHub-Sternestabil
7
axiom
Skill
AktivLetzter Commit vor 2 Tagen · 2026-08-31
Axiom is a curated marketplace of shared plugins for Claude Code and Codex.
PythonLizenz: MIT
- agent-skills
- anthropic
- claude
- claude-code
- claude-code-marketplace
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/netopsengineer/axiom ~/.claude/skills/axiom
5GitHub-Sternestabil
8
Agent-Reliability-and-Evaluation-Lab
MCP
AktivLetzter Commit vor 13 Tagen · 2026-08-21
Production reliability, benchmarking, and evaluation layer for MCP agent runtimes — protocol negotiation, A2A interop, circuit breakers, connection pooling, adaptive streaming, and autoscaling, with measured throughput/latency and a…
PythonLizenz: Apache-2.0
- a2a-protocol
- agent-to-agent
- ai-agents
- async-python
- autoscaling
githubvor 15 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil
9
forge-skills
Skill
RuhendLetzter Commit vor 3 Monaten · 2026-05-21
An assembly line for AI software development. 35 skills, 11 agent personas, 29 commands. From raw idea to shipped code.
ShellLizenz: MIT
- agentic-engineering
- agents
- claude-code
- claude-code-plugin
- claude-code-skills
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add aneja5/forge-skills
3GitHub-Sternestabil
10
sre-on-call
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-20
Multi-agent SRE on-call investigator that auto-triages Slack/Discord infrastructure alerts via AWS Bedrock AgentCore, fanning out to specialized agents (CloudWatch, EKS, Slack/Discord scanners) for parallel investigation.
Python
- a2a-protocol
- anthropic
- aws-bedrock
- aws-lambda
- bedrock-agentcore
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil
11
agenttap
Agent
RuhendLetzter Commit vor 5 Monaten · 2026-04-05
Real-time debugging proxy for Agent2Agent (A2A) multi-agent systems
Lizenz: MIT
- a2a
- agent2agent
- debugging
- debugging-tool
- developer-tools
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil
12
nudge
MCP
AktivLetzter Commit vor 12 Tagen · 2026-08-21
A typed, replayable, budget-aware programming language for LLM agents. Compiles to Python & TypeScript.
Shell
- a2a
- agent-framework
- agentic-ai
- ai
- ai-agents
githubvor 48 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
13
skill-receipts
Skill
AktivLetzter Commit vor 35 Tagen · 2026-07-30
Claude Code skills where every entry ships receipts — accuracy-gated benchmarks against baseline and placebo, rejects published
JavaScriptLizenz: MIT
- agent-skills
- ai-agents
- anthropic
- benchmark
- claude
githubvor 43 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/sjh9714/skill-receipts ~/.claude/skills/skill-receipts
2GitHub-Sternestabil
14
supervisor-skill-claude
Skill
AktivLetzter Commit vor 19 Tagen · 2026-08-14
Multi-agent quality gate skill for Claude Code that researches, reviews, tests and challenges AI-generated work before the final answer.
- agentic-coding
- agentic-workflow
- ai-agent-skills
- ai-code-review
- ai-workflows
githubvor 19 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/ma-nucho-pro/supervisor-skill-claude ~/.claude/skills/supervisor-skill-claude
2GitHub-Sternestabil
15
CustoFlow
Sonstige
RuhendLetzter Commit vor 3 Monaten · 2026-06-04
Multi-agent customer support system with Google ADK & Gemini 2.5 Flash Lite. Kaggle capstone demonstrating 11+ concepts. Automates 80%+ queries, <10s response time.
PythonLizenz: MIT
- a2a-protocol
- agent-evaluation
- google-adk
- multi-agent-system
- observability
githubvor 9 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
16
Agents-eval
Agent
RuhendLetzter Commit vor 3 Monaten · 2026-05-17
A Multi-Agent System (MAS) evaluation framework using PydanticAI that generates and evaluates scientific paper reviews through a three-tiered assessment approach: traditional metrics, LLM-as-a-Judge, and graph-based complexity analysis.
PythonLizenz: Apache-2.0
- a2a-protocol
- agent-evaluation
- agentbeats
- ai-agents
- benchmarks
githubvor 19 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
17
dsh-plugins
Agent
AktivLetzter Commit vor 4 Tagen · 2026-08-29
Generic DeepSeek Harness (dsh) plugins: A2A protocol server, session storage mirror, and Langfuse observability.
TypeScriptLizenz: MIT
- agent2agent
- ai-agents
- cordis
- deepseek-harness
- dsh
githubvor 15 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
18
pyxen
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-28
A lightweight Python library that decouples agentic runtime from applications it builds
PythonLizenz: MIT
- a2a
- agent-runtime
- agents
- observability
- portability
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
19
boundary-bench
Agent
AktivLetzter Commit vor 7 Tagen · 2026-08-26
Deterministic crash tests for agent control planes: paired worlds, hard stops, budgets, scopes, approvals, and hash-linked receipts.
TypeScriptLizenz: Apache-2.0
- a2a
- agent-evaluation
- ai-agents
- benchmark
- deterministic-replay
githubvor 43 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
20
DriftSentinel
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-20
Agent 降智检测与自愈公评网络 — an immune system for the AI agent society
TypeScriptLizenz: MIT
- a2a
- agent
- agent-guard
- ai-sre
- drift-detection
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
21
kaggle-capstone-ai-agent
Agent
RuhendLetzter Commit vor 9 Monaten · 2025-11-26
A safety-first multi-agent mental health companion with real-time distress tracking, triple-layer guardrails, and evidence-based grounding techniques. Built for Kaggle × Google Agents Intensive 2025 Capstone (Agents for Good Track)
Python
- a2a-protocol
- agent-evaluation
- agents-for-good
- ai-agents
- crisis-support
githubvor 9 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
22
DeepSeek-Infra
Sonstige
AktivLetzter Commit vor 1 Tag · 2026-09-02
Local-first Agentic AI Infrastructure Platform with LLM Gateway, Agent DAG Runtime, MCP Tool Hub, A2A Agent Mesh, Local RAG, Tool Sandbox and Observability.
Python
- a2a
- agent-runtime
- ai-infra
- deepseek
- fastapi
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
23
primal-core
Agent
RuhendLetzter Commit vor 3 Monaten · 2026-05-18
The reliability and interoperability layer for AI agents. A2A-native. MCP-bridged.
PythonLizenz: Apache-2.0
- a2a
- agent-framework
- agents
- ai
- ai-safety
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
24
skill-adherencia-reglas
Skill
AktivLetzter Commit vor 33 Tagen · 2026-07-31
Skill instalable para Claude Code que mide si tu agente cumple las reglas establecidas. Lee el historial de sesiones de tu disco y devuelve un porcentaje por regla de cumplimiento. Sin instalar nada, sin red, biblioteca estándar.
PythonLizenz: MIT
- ai-evaluation
- claude
- claude-code
- claude-code-plugin
- claude-code-skill
githubvor 37 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add jleonceo/skill-adherencia-reglas
1GitHub-Sternestabil

Lern- und Referenzressourcen

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

1
tunelab
Skill
AktivLetzter Commit vor 40 Tagen · 2026-07-25Quelle öffnen ↗
Claude Code plugin for LLM fine-tuning, distillation, and evaluation — decide whether you need fine-tuning at all, distill your LLM logs into small local models (MLX/LoRA), evaluate with held-out discipline, and learn the why at every step.
PythonLizenz: MIT
- claude-code
- claude-code-plugin
- distillation
- fine-tuning
- llm-evaluation
github
Installieren /plugin marketplace add rchaz/tunelab
vor 40 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
6GitHub-Sternestabil

LLM-Beobachtbarkeit

Anwendungsfall

Aktivität

Sortieren nach

Werkzeug-Rangliste

galdor

agent-inspector

anchor

adaptive-harness

memroos

kiboserve

axiom

Agent-Reliability-and-Evaluation-Lab

forge-skills

sre-on-call

agenttap

nudge

skill-receipts

supervisor-skill-claude

CustoFlow

Agents-eval

dsh-plugins

pyxen

boundary-bench

DriftSentinel

kaggle-capstone-ai-agent

DeepSeek-Infra

primal-core

skill-adherencia-reglas

Lern- und Referenzressourcen

tunelab