Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

111

Werkzeug-Rangliste

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1
com.pulsemcp/langfuse
MCP
AktivLetzter Commit vor 39 Tagen · 2026-07-26
MCP server for Langfuse LLM observability — trace and observation analysis.
TypeScriptLizenz: MIT
mcpvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren claude mcp add langfuse -- npx langfuse-observability-mcp-server
78GitHub-Sternestabil
2
AgentX-Python
Sonstige
AktivLetzter Commit vor 2 Tagen · 2026-09-01
AgentX python SDK. Build multi-agent AI workforce. Run evaluation. Trace your agent. Full Observability.
PythonLizenz: Apache-2.0
- a2a
- agent
- agent-monitoring
- evaluation
- mcp
githubvor 2 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
68GitHub-Sternestabil
3
seo-skill-bench
Skill
AktivLetzter Commit vor 12 Tagen · 2026-08-21
Open benchmark for Claude Code SEO skills — real headless execution against fixture sites with planted-defect answer keys. Deterministic scoring, pre-registered rubric.
JavaScriptLizenz: MIT
- aeo
- agent-skills
- ai
- ai-seo
- benchmark
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/aleclindz/seo-skill-bench ~/.claude/skills/seo-skill-bench
51GitHub-Sterne-5 (-8.9 %)
4
arize-skills
Skill
AktivLetzter Commit vor 5 Tagen · 2026-08-28
Agent skills for Arize — datasets, experiments, and traces via the ax CLI
PythonLizenz: MIT
- agent-skills
- ai-agents
- ai-observability
- arize
- claude-code
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/Arize-ai/arize-skills ~/.claude/skills/arize-skills
47GitHub-Sternestabil
5
opus-fable-playbook
Skill
AktivLetzter Commit vor 2 Monaten · 2026-07-03
Make Claude Opus 4.8 behave like Claude Fable 5 — doctrine output style, drift-catching hooks, and an eval loop against golden Fable transcripts. Claude Code plugin.
ShellLizenz: MIT
- anthropic
- claude
- claude-code
- claude-code-plugin
- evals
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add rennf93/opus-fable-playbook
33GitHub-Sternestabil
6
langsmith-fetch-skill
Skill
RuhendLetzter Commit vor 4 Monaten · 2026-04-06
🔍 AI observability skill for Claude Code. Debug LangChain/LangGraph agents by fetching execution traces from LangSmith Studio directly in your terminal.
Lizenz: MIT
- agent-debugging
- ai-agents
- claude-skills
- claude-skills-creator
- claude-skills-hub
githubvor 8 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/OthmanAdi/langsmith-fetch-skill ~/.claude/skills/langsmith-fetch-skill
27GitHub-Sternestabil
7
astragraph
Agent
RuhendLetzter Commit vor 5 Monaten · 2026-03-16
Policy-enforced observability and fail-closed guardrails for MCP/A2A multi-agent systems.
Rust
- a2a
- ai-agents
- llm-security
- mcp
- multi-agent
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
26GitHub-Sternestabil
8
sentry-instrumentation
Skill
AktivLetzter Commit vor 2 Monaten · 2026-06-19
Sentry instrumentation skill for system-behavior tracking
ShellLizenz: MIT
- agent-skills
- claude-skills
- codex-skill
- instrumentation
- monitoring
githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/tortastudios/sentry-instrumentation ~/.claude/skills/sentry-instrumentation
24GitHub-Sternestabil
9
untell
Sonstige
AktivLetzter Commit vor 1 Tag · 2026-09-02
AI-detector auditing toolkit: measures how often a detector flags genuine human writing, how stable its verdict is across seeds, and whether that verdict survives meaning-preserving edits. Detector-in-the-loop measurement harness. Claude…
PythonLizenz: MIT
- ai-detection
- ai-detector
- benchmark
- claude-code
- claude-code-skill
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
18GitHub-Sternestabil
10
rashomon
Skill
AktivLetzter Commit vor 3 Tagen · 2026-08-30
Measure prompt and skill improvements with blind A/B comparison.
PythonLizenz: MIT
- agent-skills
- ai-tools
- claude-code
- claude-code-plugin
- claude-code-skill
githubvor 7 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add shinpr/rashomon
18GitHub-Sternestabil
11
parallel-adversarial-review
Skill
AktivLetzter Commit vor 2 Monaten · 2026-06-06
Two Claude Code skills for adversarial code review (single-model PAR and multi-model MMAR with cross-critique to catch hallucinations), plus a fixture-based eval suite.
Python
- ai-agents
- claude-code-plugin
- code-review
- evals
- python
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add prime-radiant-inc/parallel-adversarial-review
17GitHub-Sternestabil
12
simple-output-styles
Skill
AktivLetzter Commit vor 1 Tag · 2026-09-02
Make Claude write clearly, for everyone.
PythonLizenz: 0BSD
- claude-code
- claude-code-plugin
- controlled-language
- llm-evaluation
- output-style
githubvor 33 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add stefanobaghino/simple-output-styles
16GitHub-Sternestabil
13
agentic-engineering-marketplace
Skill
AktivLetzter Commit vor 35 Tagen · 2026-07-29
Claude Code plugin marketplace — agentic-engineering (spec-driven shape→decide→execute→measure→eval with adversarial review) + github-keeper (audit/elevate READMEs and make a repo open-source-ready).
PythonLizenz: MIT
- adr
- agentic-engineering
- ai-agents
- anthropic
- claude-code
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add GiustoPiedimonte/agentic-engineering-marketplace
13GitHub-Sternestabil
14
eval-layer
Sonstige
RuhendLetzter Commit vor 4 Monaten · 2026-04-29
A Claude Code skill that adds a rubric-based eval layer to any agent project. Framework-agnostic — generates rubric, test cases, judge prompt, and harness. Returns a weighted score plus a judge-leniency signal.
HTML
- agent-evaluation
- anthropic
- claude-code
- claude-code-skill
- evals
githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
13GitHub-Sternestabil
15
io.github.spanlens/mcp-server
MCP
AktivLetzter Commit vor 10 Tagen · 2026-08-24
Query Spanlens LLM observability from Cursor, Claude Desktop, or Continue via MCP.
↓ 32 Downloads/WocheTypeScriptLizenz: MIT
mcpvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren claude mcp add mcp-server -- npx @spanlens/mcp-server
12GitHub-Sternestabil
16
bakeoff
Skill
AktivLetzter Commit vor 55 Tagen · 2026-07-09
Turn one decision into a judged tournament of solutions, then pick the best — a Claude Code skill that generates candidates, auto-derives the rubric, judges independently, and returns a defensible winner.
JavaScriptLizenz: MIT
- ai-agents
- anthropic
- claude-code
- claude-code-plugin
- claude-skill
githubvor 58 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add CoriChui/bakeoff
10GitHub-Sternestabil
17
galdor
Sonstige
AktivLetzter Commit vor 10 Tagen · 2026-08-24
A Go-native framework for LLM agents, with OpenTelemetry observability built in.
GoLizenz: Apache-2.0
- a2a
- agents
- ai
- anthropic
- bedrock
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
10GitHub-Sternestabil
18
anchor
Skill
AktivLetzter Commit vor 14 Tagen · 2026-08-20
Anchor — the production-grade AGENTS.md template for AI coding agents. 51 sections of battle-tested rules. Keep your agents grounded.
Lizenz: MIT
- agent-instructions
- agents-md
- ai-agent-instructions
- ai-coding
- ai-coding-agent
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/peva3/anchor ~/.claude/skills/anchor
8GitHub-Sternestabil
19
adaptive-harness
Skill
RuhendLetzter Commit vor 5 Monaten · 2026-03-16
A self-improving harness router for Claude Code.
PythonLizenz: MIT
- a-b-testing
- ai-agent
- ai-orchestration
- ai-routing
- ai-workflow
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add SeongwoongCho/adaptive-harness
8GitHub-Sternestabil
20
memroos
Agent
AktivLetzter Commit vor 1 Tag · 2026-09-01
MemroOS / memroos: memory OS and governance layer for AI agents, agent workflows, dispatch, proof, and context continuity.
TypeScript
- a2a
- agent-governance
- agent-memory
- agent-orchestration
- agent-workflows
githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
7GitHub-Sternestabil
21
kiboserve
MCP
RuhendLetzter Commit vor 4 Monaten · 2026-04-25
Open-source Python framework to deploy AI agents via HTTP, A2A, and MCP with built-in observability
PythonLizenz: MIT
- a2a
- a2a-client
- a2a-server
- agent-evaluation
- agentic-ai
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
5GitHub-Sternestabil
22
axiom
Skill
AktivLetzter Commit vor 2 Tagen · 2026-08-31
Axiom is a curated marketplace of shared plugins for Claude Code and Codex.
PythonLizenz: MIT
- agent-skills
- anthropic
- claude
- claude-code
- claude-code-marketplace
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/netopsengineer/axiom ~/.claude/skills/axiom
5GitHub-Sternestabil

Lern- und Referenzressourcen

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

1
awesome-agentic-devops
MCP
AktivLetzter Commit vor 1 Tag · 2026-09-01Quelle öffnen ↗
Curated + scored map of official MCP servers and agents for DevOps, Cloud, SRE, and Platform Engineering — every entry rated on production access, approval gates, and audit evidence.
PythonLizenz: MIT
- agent-skills
- agentic-ai
- agentic-devops
- ai-agents
- awesome
githubvor 1 Tag aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
77GitHub-Sternestabil
2
Agentic_AI_Engineer
Agent
AktivLetzter Commit vor 1 Tag · 2026-09-01Quelle öffnen ↗
My complete journey to becoming an Agentic AI Engineer through structured learning, projects, experiments, and production-ready implementations of modern AI systems.
Jupyter NotebookLizenz: MIT
- a2a-protocol
- agent-orchestration
- ai-guardrails
- fastapi
- kubernetes
githubvor 1 Tag aktivvor 39 Tagen erstelltRessourcegemessenes Wachstum
18GitHub-Sternestabil
3
tunelab
Skill
AktivLetzter Commit vor 40 Tagen · 2026-07-25Quelle öffnen ↗
Claude Code plugin for LLM fine-tuning, distillation, and evaluation — decide whether you need fine-tuning at all, distill your LLM logs into small local models (MLX/LoRA), evaluate with held-out discipline, and learn the why at every step.
PythonLizenz: MIT
- claude-code
- claude-code-plugin
- distillation
- fine-tuning
- llm-evaluation
github
Installieren /plugin marketplace add rchaz/tunelab
vor 40 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
6GitHub-Sternestabil

LLM-Beobachtbarkeit

Anwendungsfall

Aktivität

Sortieren nach

Werkzeug-Rangliste

com.pulsemcp/langfuse

AgentX-Python

seo-skill-bench

arize-skills

opus-fable-playbook

langsmith-fetch-skill

astragraph

sentry-instrumentation

untell

rashomon

parallel-adversarial-review

simple-output-styles

agentic-engineering-marketplace

eval-layer

io.github.spanlens/mcp-server

bakeoff

galdor

anchor

adaptive-harness

memroos

kiboserve

axiom

Lern- und Referenzressourcen

awesome-agentic-devops

Agentic_AI_Engineer

tunelab