Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

118

Werkzeug-Rangliste

Ranked by known GitHub stars, highest first; archived repositories come after maintained repositories. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1
memroos
Agent
AktivLetzter Commit vor 1 Tag · 2026-09-04
MemroOS / memroos: memory OS and governance layer for AI agents, agent workflows, dispatch, proof, and context continuity.
TypeScript
- a2a
- agent-governance
- agent-memory
- agent-orchestration
- agent-workflows
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
7GitHub-Sternestabil
2
sample-agentcore-enterprise-platform
Agent
AktivLetzter Commit vor 1 Tag · 2026-09-04
Amazon Bedrock AgentCore enterprise platform accelerator with AWS CDK, Terraform organization guardrails, MCP/A2A agents, security, memory, and observability.
PythonLizenz: Apache-2.0
- a2a-protocol
- agentcore
- agentcore-agent
- agentcore-gateway
- agentcore-identity
githubvor 25 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
6GitHub-Sterne+1 (+20.0 %)
3
kiboserve
MCP
RuhendLetzter Commit vor 4 Monaten · 2026-04-25
Open-source Python framework to deploy AI agents via HTTP, A2A, and MCP with built-in observability
PythonLizenz: MIT
- a2a
- a2a-client
- a2a-server
- agent-evaluation
- agentic-ai
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
5GitHub-Sternestabil
4
axiom
Skill
AktivLetzter Commit vor 5 Tagen · 2026-08-31
Axiom is a curated marketplace of shared plugins for Claude Code and Codex.
PythonLizenz: MIT
- agent-skills
- anthropic
- claude
- claude-code
- claude-code-marketplace
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/netopsengineer/axiom ~/.claude/skills/axiom
5GitHub-Sternestabil
5
agent-mmm
Skill
AktivLetzter Commit vor 2 Tagen · 2026-09-03
Marketing Mix Model expert agent plugin for Claude Code - pymc-marketing v0.18.2+
Python
- claude-code-agent
- claude-code-plugin
- claude-code-skill
- data-analysis
- data-analytics
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add Yakoub-ai/agent-mmm
4GitHub-Sternestabil
6
forge-skills
Skill
RuhendLetzter Commit vor 3 Monaten · 2026-05-21
An assembly line for AI software development. 35 skills, 11 agent personas, 29 commands. From raw idea to shipped code.
ShellLizenz: MIT
- agentic-engineering
- agents
- claude-code
- claude-code-plugin
- claude-code-skills
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add aneja5/forge-skills
3GitHub-Sternestabil
7
sre-on-call
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-20
Multi-agent SRE on-call investigator that auto-triages Slack/Discord infrastructure alerts via AWS Bedrock AgentCore, fanning out to specialized agents (CloudWatch, EKS, Slack/Discord scanners) for parallel investigation.
Python
- a2a-protocol
- anthropic
- aws-bedrock
- aws-lambda
- bedrock-agentcore
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil
8
agenttap
Agent
RuhendLetzter Commit vor 5 Monaten · 2026-04-05
Real-time debugging proxy for Agent2Agent (A2A) multi-agent systems
Lizenz: MIT
- a2a
- agent2agent
- debugging
- debugging-tool
- developer-tools
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil
9
Agent-Reliability-and-Evaluation-Lab
MCP
AktivLetzter Commit vor 15 Tagen · 2026-08-21
Production reliability, benchmarking, and evaluation layer for MCP agent runtimes — protocol negotiation, A2A interop, circuit breakers, connection pooling, adaptive streaming, and autoscaling, with measured throughput/latency and a…
PythonLizenz: Apache-2.0
- a2a-protocol
- agent-to-agent
- ai-agents
- async-python
- autoscaling
githubvor 18 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil
10
skill-receipts
Skill
AktivLetzter Commit vor 37 Tagen · 2026-07-30
Claude Code skills where every entry ships receipts — accuracy-gated benchmarks against baseline and placebo, rejects published
JavaScriptLizenz: MIT
- agent-skills
- ai-agents
- anthropic
- benchmark
- claude
githubvor 45 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/sjh9714/skill-receipts ~/.claude/skills/skill-receipts
2GitHub-Sternestabil
11
CustoFlow
Sonstige
RuhendLetzter Commit vor 3 Monaten · 2026-06-04
Multi-agent customer support system with Google ADK & Gemini 2.5 Flash Lite. Kaggle capstone demonstrating 11+ concepts. Automates 80%+ queries, <10s response time.
PythonLizenz: MIT
- a2a-protocol
- agent-evaluation
- google-adk
- multi-agent-system
- observability
githubvor 9 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
12
supervisor-skill-claude
Skill
AktivLetzter Commit vor 22 Tagen · 2026-08-14
Multi-agent quality gate skill for Claude Code that researches, reviews, tests and challenges AI-generated work before the final answer.
- agentic-coding
- agentic-workflow
- ai-agent-skills
- ai-code-review
- ai-workflows
githubvor 22 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/ma-nucho-pro/supervisor-skill-claude ~/.claude/skills/supervisor-skill-claude
2GitHub-Sternestabil
13
Agents-eval
Agent
RuhendLetzter Commit vor 3 Monaten · 2026-05-17
A Multi-Agent System (MAS) evaluation framework using PydanticAI that generates and evaluates scientific paper reviews through a three-tiered assessment approach: traditional metrics, LLM-as-a-Judge, and graph-based complexity analysis.
PythonLizenz: Apache-2.0
- a2a-protocol
- agent-evaluation
- agentbeats
- ai-agents
- benchmarks
githubvor 19 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
14
agent-stack
Skill
AktivLetzter Commit vor 4 Tagen · 2026-09-01
Production patterns for agent orchestrators, harnesses, evals, MCP/A2A interoperability, memory, provider routing, and LLM usage metering.
PythonLizenz: MIT
- a2a
- agent-orchestration
- agent-skills
- ai-agents
- developer-tools
githubvor 30 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/ssheleg/agent-stack ~/.claude/skills/agent-stack
2GitHub-Sterne+1 (+100.0 %)
15
nudge
MCP
AktivLetzter Commit vor 14 Tagen · 2026-08-21
A typed, replayable, budget-aware programming language for LLM agents. Compiles to Python & TypeScript.
Shell
- a2a
- agent-framework
- agentic-ai
- ai
- ai-agents
githubvor 51 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
16
skill-evaluation-graph
Skill
AktivLetzter Commit heute · 2026-09-04
Description Evidence-driven evaluation, benchmarking, and verified repair for Agent Skills across Codex, Claude Code, Gemini CLI, and Antigravity.
PythonLizenz: MIT
- agent-skills
- agentic-ai
- ai-agents
- ai-evaluation
- ai-safety
githubvor 1 Tag erstelltneugeschätztes MomentumQuelle öffnen ↗
Installieren git clone https://github.com/MaxLaurieHutchinson/skill-evaluation-graph ~/.claude/skills/skill-evaluation-graph
2GitHub-Sterne—
17
verdict-contract
Skill
AktivLetzter Commit vor 6 Tagen · 2026-08-30
Your LLM reviewer said APPROVE. Did it? A structured verdict contract: prompt rule + parser + exit-code gate in one stdlib file, with the 42 counterexamples that forced every line. Free, MIT.
PythonLizenz: MIT
- agent-skills
- ai-agents
- ci
- claude-code
- claude-code-skills
githubvor 32 Tagen erstelltgeschätztes MomentumQuelle öffnen ↗
Installieren git clone https://github.com/tonydzi/verdict-contract ~/.claude/skills/verdict-contract
2GitHub-Sterne—
18
mcp-smb-products
MCP
AktivLetzter Commit vor 2 Monaten · 2026-07-03
8 MCP SMB products — standalone AI servers for SMBs: Guardrails, FinOps, Observability, Router, Trust Score, Memory, ThinkSecure, A2A Lite. 37 tools, TNC credits billing.
PythonLizenz: MIT
- a2a-protocol
- ai-governance
- finops
- guardrails
- mcp
githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
19
primal-core
Agent
RuhendLetzter Commit vor 3 Monaten · 2026-05-18
The reliability and interoperability layer for AI agents. A2A-native. MCP-bridged.
PythonLizenz: Apache-2.0
- a2a
- agent-framework
- agents
- ai
- ai-safety
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
20
a2a-otel-kit
MCP
AktivLetzter Commit vor 25 Tagen · 2026-08-11
Vendor-neutral OpenTelemetry tracing for A2A agents and MCP services, with W3C context propagation and privacy-safe telemetry.
PythonLizenz: MIT
- a2a
- agent2agent
- agentic-ai
- ai-agents
- clean-architecture
githubvor 51 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
21
tulip-agents
Agent
AktivLetzter Commit vor 9 Tagen · 2026-08-26
The agent framework where the model never holds the trigger — every consequential action clears your policy first, waits for a human when it matters, and lands on a record you can verify. Build on it, or put it around the agent you already…
PythonLizenz: Apache-2.0
- a2a
- agent-framework
- ai-agents
- ai-governance
- ai-safety
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
22
pyxen
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-28
A lightweight Python library that decouples agentic runtime from applications it builds
PythonLizenz: MIT
- a2a
- agent-runtime
- agents
- observability
- portability
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
23
DeepSeek-Infra
Sonstige
AktivLetzter Commit vor 3 Tagen · 2026-09-02
Local-first Agentic AI Infrastructure Platform with LLM Gateway, Agent DAG Runtime, MCP Tool Hub, A2A Agent Mesh, Local RAG, Tool Sandbox and Observability.
Python
- a2a
- agent-runtime
- ai-infra
- deepseek
- fastapi
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
24
adherencia-reglas
Skill
AktivLetzter Commit vor 36 Tagen · 2026-07-31
Mide si tu agente de IA cumple las reglas que le escribiste. Lee el historial local de Claude Code y devuelve un porcentaje por regla. Sin instalar nada, sin red, biblioteca estándar.
PythonLizenz: MIT
- agent-evaluation
- ai-agents
- claude-code
- claude-code-skill
- claude-code-skills
githubvor 40 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/jleonceo/adherencia-reglas ~/.claude/skills/adherencia-reglas
1GitHub-Sternestabil

Lern- und Referenzressourcen

Ranked by known GitHub stars, highest first; archived repositories come after maintained repositories. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

1
tunelab
Skill
AktivLetzter Commit vor 42 Tagen · 2026-07-25Quelle öffnen ↗
Claude Code plugin for LLM fine-tuning, distillation, and evaluation — decide whether you need fine-tuning at all, distill your LLM logs into small local models (MLX/LoRA), evaluate with held-out discipline, and learn the why at every step.
PythonLizenz: MIT
- claude-code
- claude-code-plugin
- distillation
- fine-tuning
- llm-evaluation
github
Installieren /plugin marketplace add rchaz/tunelab
vor 42 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
6GitHub-Sternestabil

LLM-Beobachtbarkeit

Anwendungsfall

Aktivität

Sortieren nach

Werkzeug-Rangliste

memroos

sample-agentcore-enterprise-platform

kiboserve

axiom

agent-mmm

forge-skills

sre-on-call

agenttap

Agent-Reliability-and-Evaluation-Lab

skill-receipts

CustoFlow

supervisor-skill-claude

Agents-eval

agent-stack

nudge

skill-evaluation-graph

verdict-contract

mcp-smb-products

primal-core

a2a-otel-kit

tulip-agents

pyxen

DeepSeek-Infra

adherencia-reglas

Lern- und Referenzressourcen

tunelab