Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

118

Werkzeug-Rangliste

Ranked by creation date, newest first; undated entries come last. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1
AI Guardian
MCP
AktivLetzter Commit vor 7 Tagen · 2026-08-26
Governed local-LLM observability: model policy, prompt scanner, capture proxy, 21 tools.
PythonLizenz: MIT
mcpvor 53 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren claude mcp add ai-guardian -- uvx ai-guardian-aiops
0GitHub-Sternestabil
2
Flawless
Sonstige
AktivLetzter Commit vor 20 Tagen · 2026-08-14
AI SRE AgenticOps for Kubernetes and cloud infrastructure.
Python
- agenticops
- ai
- aiops
- aisre
- cloud
githubvor 55 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
782GitHub-Sterne+1 (+0.13 %)
3
homestream
Sonstige
AktivLetzter Commit vor 51 Tagen · 2026-07-14
🔑 HomeStream · 家园·流 — 零成本自托管多Agent协作框架，通往AI世界的那把钥匙 | Zero-cost self-hosted multi-agent framework — The key to AI world
PythonLizenz: MIT
- a2a-protocol
- agent-framework
- ai
- causal-memory
- event-stream
githubvor 55 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
0GitHub-Sternestabil
4
bakeoff
Skill
AktivLetzter Commit vor 55 Tagen · 2026-07-09
Turn one decision into a judged tournament of solutions, then pick the best — a Claude Code skill that generates candidates, auto-derives the rubric, judges independently, and returns a defensible winner.
JavaScriptLizenz: MIT
- ai-agents
- anthropic
- claude-code
- claude-code-plugin
- claude-skill
githubvor 58 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add CoriChui/bakeoff
10GitHub-Sternestabil
5
fable-method
Skill
AktivLetzter Commit vor 49 Tagen · 2026-07-15
The Fable Workflow: how Claude Fable 5 worked, distilled into skills any model can run, with the eval that keeps it honest. Think / act / prove.
PythonLizenz: MIT
- agent-skills
- ai-agents
- claude
- claude-code
- claude-md
githubvor 58 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/Sahir619/fable-method ~/.claude/skills/fable-method
2 272GitHub-Sterne+16 (+0.71 %)
6
rocketplaneIO
Sonstige
AktivLetzter Commit vor 36 Tagen · 2026-07-29
Self-hosted AI SRE for Kubernetes — zero-instrumentation eBPF observability plus a copilot that fixes issues through guardrailed, self-verifying actions. BYO-LLM, air-gapped capable.
GoLizenz: Apache-2.0
- ai-agent
- aiops
- clickhouse
- devops
- ebpf
githubvor 59 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
131GitHub-Sterne-4 (-3.0 %)
7
seo-skill-bench
Skill
AktivLetzter Commit vor 12 Tagen · 2026-08-21
Open benchmark for Claude Code SEO skills — real headless execution against fixture sites with planted-defect answer keys. Deterministic scoring, pre-registered rubric.
JavaScriptLizenz: MIT
- aeo
- agent-skills
- ai
- ai-seo
- benchmark
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/aleclindz/seo-skill-bench ~/.claude/skills/seo-skill-bench
51GitHub-Sterne-5 (-8.9 %)
8
opus-fable-playbook
Skill
AktivLetzter Commit vor 2 Monaten · 2026-07-03
Make Claude Opus 4.8 behave like Claude Fable 5 — doctrine output style, drift-catching hooks, and an eval loop against golden Fable transcripts. Claude Code plugin.
ShellLizenz: MIT
- anthropic
- claude
- claude-code
- claude-code-plugin
- evals
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add rennf93/opus-fable-playbook
33GitHub-Sternestabil
9
agentic-engineering-marketplace
Skill
AktivLetzter Commit vor 35 Tagen · 2026-07-29
Claude Code plugin marketplace — agentic-engineering (spec-driven shape→decide→execute→measure→eval with adversarial review) + github-keeper (audit/elevate READMEs and make a repo open-source-ready).
PythonLizenz: MIT
- adr
- agentic-engineering
- ai-agents
- anthropic
- claude-code
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add GiustoPiedimonte/agentic-engineering-marketplace
13GitHub-Sternestabil
10
untell
Sonstige
AktivLetzter Commit vor 1 Tag · 2026-09-02
AI-detector auditing toolkit: measures how often a detector flags genuine human writing, how stable its verdict is across seeds, and whether that verdict survives meaning-preserving edits. Detector-in-the-loop measurement harness. Claude…
PythonLizenz: MIT
- ai-detection
- ai-detector
- benchmark
- claude-code
- claude-code-skill
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
18GitHub-Sternestabil
11
SkillEvaluator
Skill
AktivLetzter Commit vor 1 Tag · 2026-09-01
Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.
PythonLizenz: Apache-2.0
- agent-evaluation
- agent-security
- agent-skills
- agentic-ai
- benchmark
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/NVIDIA/SkillEvaluator ~/.claude/skills/SkillEvaluator
389GitHub-Sterne+57 (+17.2 %)
12
DriftSentinel
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-20
Agent 降智检测与自愈公评网络 — an immune system for the AI agent society
TypeScriptLizenz: MIT
- a2a
- agent
- agent-guard
- ai-sre
- drift-detection
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
13
databuff
Agent
AktivLetzter Commit vor 1 Tag · 2026-09-02
DataBuff is an AI-native APM built on Opentelemetry，with multi-agent troubleshooting out of the box.
JavaLizenz: AGPL-3.0
- aiops
- apm
- application-monitoring
- devops
- distributed-tracing
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
642GitHub-Sterne+32 (+5.2 %)
14
historian
Agent
AktivLetzter Commit vor 2 Monaten · 2026-07-02
A local A2A event and continuity service for agent applications, with structured history, provenance-safe transcripts, literal search, and natural-language queries.
PythonLizenz: BSD-2-Clause
- a2a
- agent-memory
- ai-agents
- event-sourcing
- fastapi
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sterne+1
15
shokunin-review
Sonstige
AktivLetzter Commit vor 2 Monaten · 2026-06-25
Terminal-first validation harness for reviewing PRDs, RFCs, strategy docs, and experiment plans.
TypeScript
- ai-agents
- claude-code
- claude-code-skills
- cli
- evals
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
16
cap-evolve
MCP
AktivLetzter Commit vor 7 Tagen · 2026-08-27
Optimize any AI agent’s skills, tools/MCP, and prompts against your own evals.
PythonLizenz: Apache-2.0
- agent-optimization
- agent-skills
- agentic-ai
- ai-agents
- claude
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
47GitHub-Sterne+1 (+2.2 %)
17
pyxen
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-28
A lightweight Python library that decouples agentic runtime from applications it builds
PythonLizenz: MIT
- a2a
- agent-runtime
- agents
- observability
- portability
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
18
skill-eval-harness
Skill
AktivLetzter Commit vor 3 Tagen · 2026-08-31
Agent Skill evaluation harness for paired variants, trace artifacts, and runner adapters
PythonLizenz: MIT
- agent-skills
- evals
- python
- skills
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/adewale/skill-eval-harness ~/.claude/skills/skill-eval-harness
73GitHub-Sterne+4 (+5.8 %)
19
tulip-agents
Agent
AktivLetzter Commit vor 7 Tagen · 2026-08-26
The agent framework where the model never holds the trigger — every consequential action clears your policy first, waits for a human when it matters, and lands on a record you can verify. Build on it, or put it around the agent you already…
PythonLizenz: Apache-2.0
- a2a
- agent-framework
- ai-agents
- ai-governance
- ai-safety
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
20
axiom
Skill
AktivLetzter Commit vor 2 Tagen · 2026-08-31
Axiom is a curated marketplace of shared plugins for Claude Code and Codex.
PythonLizenz: MIT
- agent-skills
- anthropic
- claude
- claude-code
- claude-code-marketplace
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/netopsengineer/axiom ~/.claude/skills/axiom
5GitHub-Sternestabil
21
DeepSeek-Infra
Sonstige
AktivLetzter Commit vor 1 Tag · 2026-09-02
Local-first Agentic AI Infrastructure Platform with LLM Gateway, Agent DAG Runtime, MCP Tool Hub, A2A Agent Mesh, Local RAG, Tool Sandbox and Observability.
Python
- a2a
- agent-runtime
- ai-infra
- deepseek
- fastapi
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
22
anchor
Skill
AktivLetzter Commit vor 14 Tagen · 2026-08-20
Anchor — the production-grade AGENTS.md template for AI coding agents. 51 sections of battle-tested rules. Keep your agents grounded.
Lizenz: MIT
- agent-instructions
- agents-md
- ai-agent-instructions
- ai-coding
- ai-coding-agent
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/peva3/anchor ~/.claude/skills/anchor
8GitHub-Sternestabil

Lern- und Referenzressourcen

Ranked by creation date, newest first; undated entries come last. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

1
awesome-llm-observability
Skill
AktivLetzter Commit vor 3 Tagen · 2026-08-31Quelle öffnen ↗
50+ curated LLM observability tools PLUS 26 Agent Skills (several with runnable, unit-tested scripts) to build, evaluate, debug, secure & monitor reliable LLM apps. Tracing, evals, guardrails, LLMOps.
Python
- ai-agents
- ai-engineering
- ai-observability
- awesome
- awesome-list
github
Installieren git clone https://github.com/ContextJet-ai/awesome-llm-observability ~/.claude/skills/awesome-llm-observability
vor 3 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
32GitHub-Sterne+2 (+6.7 %)
2
awesome-agentic-devops
MCP
AktivLetzter Commit vor 1 Tag · 2026-09-01Quelle öffnen ↗
Curated + scored map of official MCP servers and agents for DevOps, Cloud, SRE, and Platform Engineering — every entry rated on production access, approval gates, and audit evidence.
PythonLizenz: MIT
- agent-skills
- agentic-ai
- agentic-devops
- ai-agents
- awesome
githubvor 1 Tag aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
77GitHub-Sternestabil
3
tunelab
Skill
AktivLetzter Commit vor 40 Tagen · 2026-07-25Quelle öffnen ↗
Claude Code plugin for LLM fine-tuning, distillation, and evaluation — decide whether you need fine-tuning at all, distill your LLM logs into small local models (MLX/LoRA), evaluate with held-out discipline, and learn the why at every step.
PythonLizenz: MIT
- claude-code
- claude-code-plugin
- distillation
- fine-tuning
- llm-evaluation
github
Installieren /plugin marketplace add rchaz/tunelab
vor 40 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
6GitHub-Sternestabil

LLM-Beobachtbarkeit

Anwendungsfall

Aktivität

Sortieren nach

Werkzeug-Rangliste

AI Guardian

Flawless

homestream

bakeoff

fable-method

rocketplaneIO

seo-skill-bench

opus-fable-playbook

agentic-engineering-marketplace

untell

SkillEvaluator

DriftSentinel

databuff

historian

shokunin-review

cap-evolve

pyxen

skill-eval-harness

tulip-agents

axiom

DeepSeek-Infra

anchor

Lern- und Referenzressourcen

awesome-llm-observability

awesome-agentic-devops

tunelab