Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

123

Werkzeug-Rangliste

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1
SkillCorpus
Skill
AktivLetzter Commit vor 1 Tag · 2026-08-31
Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.
PythonLizenz: Apache-2.0
- agent-memory
- agent-skills
- ai-agents
- benchmark
- dataset
githubvor 21 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/EverMind-AI/SkillCorpus ~/.claude/skills/SkillCorpus
360GitHub-Sterne+168 (+87.5 %)
2
SkillEvaluator
Skill
AktivLetzter Commit vor 1 Tag · 2026-08-31
Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.
PythonLizenz: Apache-2.0
- agent-evaluation
- agent-security
- agent-skills
- agentic-ai
- benchmark
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/NVIDIA/SkillEvaluator ~/.claude/skills/SkillEvaluator
363GitHub-Sterne+58 (+19.0 %)
3
craft-skills
Skill
AktivLetzter Commit vor 10 Tagen · 2026-08-22
Research-backed, eval-driven skills for AI agents
PythonLizenz: Apache-2.0
- agent-skills
- ai-agents
- codex
- design
- evals
githubvor 29 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/ZSeven-W/craft-skills ~/.claude/skills/craft-skills
138GitHub-Sterne+21 (+17.9 %)
4
agent-kernel
Agent
AktivLetzter Commit vor 4 Tagen · 2026-08-28
The Operating System for Scalable Enterprise AI Agents - Run, orchestrate, and deploy Compliant Enterprise AI Agents at scale across frameworks, without lock-in, rewrites or fragile glue code. Native support for MCP, A2A. Interface with all…
PythonLizenz: Apache-2.0
- a2a
- adk
- ai-agents
- aws
- azure
githubvor 13 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
146GitHub-Sterne+13 (+9.8 %)
5
skill-eval-harness
Skill
AktivLetzter Commit vor 1 Tag · 2026-08-31
Agent Skill evaluation harness for paired variants, trace artifacts, and runner adapters
PythonLizenz: MIT
- agent-skills
- evals
- python
- skills
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/adewale/skill-eval-harness ~/.claude/skills/skill-eval-harness
72GitHub-Sterne+4 (+5.9 %)
6
dynatrace-for-ai
Skill
AktivLetzter Commit vor 5 Tagen · 2026-08-27
Skills, prompts, and instructions for building AI agents on top of Dynatrace production context
JavaScriptLizenz: Apache-2.0
- agent-skills
- ai-agents
- claude-code
- devops
- dql
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/Dynatrace/dynatrace-for-ai ~/.claude/skills/dynatrace-for-ai
131GitHub-Sterne+5 (+4.0 %)
7
databuff
Agent
AktivLetzter Commit vor 1 Tag · 2026-08-31
DataBuff is an AI-native APM built on Opentelemetry，with multi-agent troubleshooting out of the box.
JavaLizenz: AGPL-3.0
- aiops
- apm
- application-monitoring
- devops
- distributed-tracing
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
627GitHub-Sterne+22 (+3.6 %)
8
opentelemetry-agent-skills
Skill
AktivLetzter Commit vor 5 Tagen · 2026-08-27
Vendor-neutral OpenTelemetry skills for AI coding agents, grounded in upstream sources
ShellLizenz: Apache-2.0
- agent-skills
- ai
- observability
- opentelemetry
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/ollygarden/opentelemetry-agent-skills ~/.claude/skills/opentelemetry-agent-skills
96GitHub-Sterne+3 (+3.2 %)
9
yao-meta-skill
Skill
AktivLetzter Commit vor 15 Tagen · 2026-08-17
YAO = Yielding AI Outcomes. A rigorous engineering, evaluation, governance, and portability system for reusable agent skills.
PythonLizenz: MIT
- agent-skills
- ai-agents
- evaluation
- governance
- meta-skill
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/yaojingang/yao-meta-skill ~/.claude/skills/yao-meta-skill
2 565GitHub-Sterne+58 (+2.3 %)
10
agent-skills-eval
Skill
AktivLetzter Commit vor 27 Tagen · 2026-08-05
A test runner for agentskills.io-style AI agent skills
TypeScriptLizenz: MIT
- agent-evals
- agent-skills
- agentskills
- ai-agents
- cli
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/darkrishabh/agent-skills-eval ~/.claude/skills/agent-skills-eval
713GitHub-Sterne+12 (+1.7 %)
11
skill-kit
Skill
AktivLetzter Commit vor 2 Tagen · 2026-08-30
local-first analytics for AI agent skills
TypeScript
- agent-skills
- analytics
- bun
- claude-code
- cli
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/crafter-station/skill-kit ~/.claude/skills/skill-kit
77GitHub-Sterne+1 (+1.3 %)
12
com.pulsemcp/langfuse
MCP
AktivLetzter Commit vor 37 Tagen · 2026-07-26
MCP server for Langfuse LLM observability — trace and observation analysis.
TypeScriptLizenz: MIT
mcpvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren claude mcp add langfuse -- npx langfuse-observability-mcp-server
78GitHub-Sterne+1 (+1.3 %)
13
trpc-agent-go
MCP
AktivLetzter Commit vor 1 Tag · 2026-08-31
A Go framework for building production agent systems with graph workflows, tools, memory, A2A, AG-UI, MCP, evaluation, and observability.
GoLizenz: Apache-2.0
- a2a
- a2a-protocol
- ag-ui
- agent
- agent-framework
githubvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1 752GitHub-Sterne+22 (+1.3 %)
14
agent-skill-creator
Skill
AktivLetzter Commit vor 4 Tagen · 2026-08-28
Build tested agent skills and govern their lifecycle through a user-defined marketplace: evidence, discovery, updates, rollback, quarantine, and 17-platform distribution.
PythonLizenz: MIT
- agent-skills
- ai-agents
- claude-code
- codex
- cursor
githubvor 10 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/FrancyJGLisboa/agent-skill-creator ~/.claude/skills/agent-skill-creator
2 358GitHub-Sterne+29 (+1.2 %)
15
fable-method
Skill
AktivLetzter Commit vor 48 Tagen · 2026-07-15
The Fable Workflow: how Claude Fable 5 worked, distilled into skills any model can run, with the eval that keeps it honest. Think / act / prove.
PythonLizenz: MIT
- agent-skills
- ai-agents
- claude
- claude-code
- claude-md
githubvor 56 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/Sahir619/fable-method ~/.claude/skills/fable-method
2 269GitHub-Sterne+22 (+0.98 %)
16
altk-evolve
MCP
AktivLetzter Commit vor 6 Tagen · 2026-08-25
Self improving agents through iterations
PythonLizenz: Apache-2.0
- agent-learning
- agent-memory
- agentic-workflows
- ai-agents
- claude-code
githubvor 8 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
105GitHub-Sterne+1 (+0.96 %)
17
OpenJudge
Skill
AktivLetzter Commit vor 29 Tagen · 2026-08-03
OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards
PythonLizenz: Apache-2.0
- agent
- agent-skills
- ai-agent
- alignment
- evaluation
githubvor 14 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/agentscope-ai/OpenJudge ~/.claude/skills/OpenJudge
807GitHub-Sterne+7 (+0.88 %)
18
langfuse-docs
Skill
AktivLetzter Commit vor 1 Tag · 2026-08-31
🪢 Langfuse documentation -- Langfuse is the open source LLM Engineering Platform. Observability, evals, prompt management, playground and metrics to debug and improve LLM apps
MDXLizenz: MIT
- agent-skills
- agents
- genai
- hacktoberfest
- langfuse
githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/langfuse/langfuse-docs ~/.claude/skills/langfuse-docs
237GitHub-Sterne+2 (+0.85 %)
19
aura
MCP
AktivLetzter Commit vor 3 Tagen · 2026-08-28
AURA is a production-tested SRE agent platform you can deploy in minutes. AURA handles the guardrails, APIs, state management, streaming, and failure handling required to put AI to work safely on production infrastructure.
RustLizenz: Apache-2.0
- a2a
- ai-agent-framework
- ai-agents
- ai-sre
- aiops
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
258GitHub-Sterne+2 (+0.78 %)
20
claude-code-karma
Skill
AktivLetzter Commit vor 2 Tagen · 2026-08-30
Dashboard for monitoring claude code sessions.
PythonLizenz: Apache-2.0
- agents
- agentskills
- claude-code
- claude-code-plugin
- claude-code-skills
githubvor 7 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add JayantDevkar/claude-code-karma
321GitHub-Sterne+2 (+0.63 %)
21
SkillForge
Skill
AktivLetzter Commit vor 34 Tagen · 2026-07-29
A skill creator that proves its skills work. Evidence-driven skill creation for Claude Code and Codex: baseline-tested generation, per-skill regression evals, ecosystem doctor, cross-runtime compile, and an opt-in proactive advisor.
PythonLizenz: MIT
- agent-skills
- claude-ai
- claude-code
- claude-skills
- codex
githubvor 8 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/tripleyak/SkillForge ~/.claude/skills/SkillForge
884GitHub-Sterne+5 (+0.57 %)
22
promptfoo
Sonstige
AktivLetzter Commit heute · 2026-09-01
Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI…
TypeScriptLizenz: MIT
- ci
- ci-cd
- cicd
- evaluation
- evaluation-framework
githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
24 710GitHub-Sterne+137 (+0.56 %)
23
openobserve
Sonstige
AktivLetzter Commit heute · 2026-09-01
Open source observability platform for logs, metrics, traces, frontend monitoring, pipelines and LLM observability. A sophisticated, simple and highly performant alternative to Datadog, Splunk, and Elasticsearch with 140x lower storage…
TypeScriptLizenz: AGPL-3.0
- analytics
- apm
- datadog
- elasticsearch
- grafana
githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
21 594GitHub-Sterne+119 (+0.55 %)
24
garak
Sonstige
AktivLetzter Commit vor 6 Tagen · 2026-08-25
the LLM vulnerability scanner
PythonLizenz: Apache-2.0
- ai
- llm-evaluation
- llm-security
- security-scanners
- vulnerability-assessment
githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
9 079GitHub-Sterne+46 (+0.51 %)

Lern- und Referenzressourcen

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

1
awesome-agentic-devops
MCP
AktivLetzter Commit vor 2 Tagen · 2026-08-30Quelle öffnen ↗
Curated + scored map of official MCP servers and agents for DevOps, Cloud, SRE, and Platform Engineering — every entry rated on production access, approval gates, and audit evidence.
PythonLizenz: MIT
- agent-skills
- agentic-ai
- agentic-devops
- ai-agents
- awesome
githubvor 2 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
77GitHub-Sterne+1 (+1.3 %)

LLM-Beobachtbarkeit

Anwendungsfall

Aktivität

Sortieren nach

Werkzeug-Rangliste

SkillCorpus

SkillEvaluator

craft-skills

agent-kernel

skill-eval-harness

dynatrace-for-ai

databuff

opentelemetry-agent-skills

yao-meta-skill

agent-skills-eval

skill-kit

com.pulsemcp/langfuse

trpc-agent-go

agent-skill-creator

fable-method

altk-evolve

OpenJudge

langfuse-docs

aura

claude-code-karma

SkillForge

promptfoo

openobserve

garak

Lern- und Referenzressourcen

awesome-agentic-devops