Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

122

Werkzeug-Rangliste

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1
mlflow
Agent
AktivLetzter Commit heute · 2026-09-02
The open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models…
PythonLizenz: Apache-2.0
- agentops
- agents
- ai
- ai-governance
- apache-spark
githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
27 783GitHub-Sterne+82 (+0.30 %)
2
prefect
Bibliothek
AktivLetzter Commit heute · 2026-09-03
Prefect is a workflow orchestration framework for building resilient data pipelines in Python.
PythonLizenz: Apache-2.0
- automation
- data
- data-engineering
- data-ops
- data-science
githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
23 766GitHub-Sterne+66 (+0.28 %)
3
vector
Sonstige
AktivLetzter Commit heute · 2026-09-03
A high-performance observability data pipeline.
RustLizenz: MPL-2.0
- agent
- cloud-native
- data-transformation
- datadog
- etl
githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
22 509GitHub-Sterne+40 (+0.18 %)
4
signoz
Sonstige
AktivLetzter Commit heute · 2026-09-03
SigNoz is an open-source, OpenTelemetry-native observability platform for your team and their AI agents. Get logs, metrics, and traces in one tool with features like APM, distributed tracing, log management, infra monitoring, etc. Combined…
TypeScript
- apm
- application-monitoring
- distributed-tracing
- go
- good-first-issue
githubvor 5 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
32 003GitHub-Sterne+50 (+0.16 %)
5
superlog
Sonstige
AktivLetzter Commit vor 4 Tagen · 2026-08-30
Open-source observability tool that uses AI agents to self-heal your software
TypeScriptLizenz: Apache-2.0
- ai
- llm
- memory
- observability
- opentelemetry
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1 404GitHub-Sterne+2 (+0.14 %)
6
Flawless
Sonstige
AktivLetzter Commit vor 20 Tagen · 2026-08-14
AI SRE AgenticOps for Kubernetes and cloud infrastructure.
Python
- agenticops
- ai
- aiops
- aisre
- cloud
githubvor 55 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
782GitHub-Sterne+1 (+0.13 %)
7
cilium
Sonstige
AktivLetzter Commit heute · 2026-09-03
eBPF-based Networking, Security, and Observability
GoLizenz: Apache-2.0
- bpf
- cncf
- cni
- containers
- ebpf
githubvor 10 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
25 047GitHub-Sterne+29 (+0.12 %)
8
SkillForge
Skill
AktivLetzter Commit vor 36 Tagen · 2026-07-29
A skill creator that proves its skills work. Evidence-driven skill creation for Claude Code and Codex: baseline-tested generation, per-skill regression evals, ecosystem doctor, cross-runtime compile, and an opt-in proactive advisor.
PythonLizenz: MIT
- agent-skills
- claude-ai
- claude-code
- claude-skills
- codex
githubvor 8 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/tripleyak/SkillForge ~/.claude/skills/SkillForge
884GitHub-Sterne+1 (+0.11 %)
9
netdata
Sonstige
AktivLetzter Commit heute · 2026-09-03
The fastest path to AI-powered full stack observability, even for lean teams.
GoLizenz: GPL-3.0
- ai
- alerting
- cncf
- data-visualization
- database
githubvor 13 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
80 412GitHub-Sterne+85 (+0.11 %)
10
kubeshark
Agent
AktivLetzter Commit vor 2 Tagen · 2026-09-01
eBPF-powered network observability for Kubernetes. Indexes L4/L7 traffic with full K8s context, decrypts TLS without keys. Queryable by AI agents via MCP and humans via dashboard.
GoLizenz: Apache-2.0
- cloud-native
- devops
- docker
- ebpf
- golang
githubvor 5 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
12 068GitHub-Sterne+8 (+0.07 %)
11
kubesphere
Skill
AktivLetzter Commit vor 50 Tagen · 2026-07-15
The container platform tailored for Kubernetes multi-cloud, datacenter, and edge management ⎈ 🖥 ☁️
Go
- agent-skills
- ai
- cloud-native
- cncf
- devops
githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/kubesphere/kubesphere ~/.claude/skills/kubesphere
17 037GitHub-Sterne+8 (+0.05 %)
12
langfuse-mcp
MCP
AktivLetzter Commit vor 7 Tagen · 2026-08-26
A Model Context Protocol (MCP) server for Langfuse, enabling AI agents to query Langfuse trace data for enhanced debugging and observability
PythonLizenz: MIT
- agent-skills
- ai-agents
- claude-code
- codex
- developer-tools
githubvor 17 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
105GitHub-Sternestabil
13
anti-lie
Skill
RuhendLetzter Commit vor 3 Monaten · 2026-05-10
Don't make LLMs honest. Make every factual claim auditable. — An LLM Claim Auditing Layer with T1-T7 truth gradients. 98.1% business effectiveness on LiarBench v0.2.
Python
- agent-skills
- ai-safety
- anti-lie
- audit
- factuality
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/lc198707/anti-lie ~/.claude/skills/anti-lie
89GitHub-Sternestabil
14
com.pulsemcp/langfuse
MCP
AktivLetzter Commit vor 39 Tagen · 2026-07-26
MCP server for Langfuse LLM observability — trace and observation analysis.
TypeScriptLizenz: MIT
mcpvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren claude mcp add langfuse -- npx langfuse-observability-mcp-server
78GitHub-Sternestabil
15
AgentX-Python
Sonstige
AktivLetzter Commit vor 2 Tagen · 2026-09-01
AgentX python SDK. Build multi-agent AI workforce. Run evaluation. Trace your agent. Full Observability.
PythonLizenz: Apache-2.0
- a2a
- agent
- agent-monitoring
- evaluation
- mcp
githubvor 2 Jahren erstelltgemessenes WachstumQuelle öffnen ↗
68GitHub-Sternestabil
16
idun-agent-platform
Skill
AktivLetzter Commit vor 27 Tagen · 2026-08-06
🟪 Open-source runtime that ships any LangGraph or Google ADK agent as a production-ready FastAPI service. Bundled , AG-UI copilotkit API, chat UI, 15+ guardrails, MCP, OpenTelemetry, OIDC. One pip install. Self-hosted, no vendor lock-in.
PythonLizenz: GPL-3.0
- a2a-protocol
- ag-ui-protocol
- agent-platform
- agentic-ai
- agents
githubvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/Idun-Group/idun-agent-platform ~/.claude/skills/idun-agent-platform
198GitHub-Sterne-1 (-0.50 %)
17
aura
MCP
AktivLetzter Commit vor 1 Tag · 2026-09-02
AURA is a production-tested SRE agent platform you can deploy in minutes. AURA handles the guardrails, APIs, state management, streaming, and failure handling required to put AI to work safely on production infrastructure.
RustLizenz: Apache-2.0
- a2a
- ai-agent-framework
- ai-agents
- ai-sre
- aiops
githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
254GitHub-Sterne-3 (-1.2 %)
18
rocketplaneIO
Sonstige
AktivLetzter Commit vor 36 Tagen · 2026-07-29
Self-hosted AI SRE for Kubernetes — zero-instrumentation eBPF observability plus a copilot that fixes issues through guardrailed, self-verifying actions. BYO-LLM, air-gapped capable.
GoLizenz: Apache-2.0
- ai-agent
- aiops
- clickhouse
- devops
- ebpf
githubvor 59 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
131GitHub-Sterne-4 (-3.0 %)
19
suede-creator-skills
MCP
AktivLetzter Commit vor 1 Tag · 2026-09-02
74 open-source Agent Skills for Claude Code and Codex: AI SEO, AEO and GEO, code review with an A-F ship grade, CI gates, AI evals, design systems, conversion copy, Instagram growth, iOS and Android app shipping, creator rights, and…
JavaScriptLizenz: MIT
- agent-orchestration
- agent-skill
- agent-skills
- ai-agents
- ai-coding
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
129GitHub-Sterne-4 (-3.0 %)
20
seo-skill-bench
Skill
AktivLetzter Commit vor 12 Tagen · 2026-08-21
Open benchmark for Claude Code SEO skills — real headless execution against fixture sites with planted-defect answer keys. Deterministic scoring, pre-registered rubric.
JavaScriptLizenz: MIT
- aeo
- agent-skills
- ai
- ai-seo
- benchmark
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/aleclindz/seo-skill-bench ~/.claude/skills/seo-skill-bench
51GitHub-Sterne-5 (-8.9 %)
21
Agent-Reliability-and-Evaluation-Lab
MCP
AktivLetzter Commit vor 13 Tagen · 2026-08-21
Production reliability, benchmarking, and evaluation layer for MCP agent runtimes — protocol negotiation, A2A interop, circuit breakers, connection pooling, adaptive streaming, and autoscaling, with measured throughput/latency and a…
PythonLizenz: Apache-2.0
- a2a-protocol
- agent-to-agent
- ai-agents
- async-python
- autoscaling
githubvor 15 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil
22
forge-skills
Skill
RuhendLetzter Commit vor 3 Monaten · 2026-05-21
An assembly line for AI software development. 35 skills, 11 agent personas, 29 commands. From raw idea to shipped code.
ShellLizenz: MIT
- agentic-engineering
- agents
- claude-code
- claude-code-plugin
- claude-code-skills
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add aneja5/forge-skills
3GitHub-Sternestabil
23
multi-agent-credit-desk
MCP
AktivLetzter Commit vor 25 Tagen · 2026-08-09
Architecture-first Python scaffold for an auditable multi-agent corporate credit desk using A2A, MCP, deterministic credit policies, model routing, and OpenTelemetry.
Python
- a2a-protocol
- agentic-ai
- auditability
- clean-architecture
- credit-risk
githubvor 49 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
0GitHub-Sternestabil
24
sre-on-call
Agent
AktivLetzter Commit vor 2 Monaten · 2026-06-20
Multi-agent SRE on-call investigator that auto-triages Slack/Discord infrastructure alerts via AWS Bedrock AgentCore, fanning out to specialized agents (CloudWatch, EKS, Slack/Discord scanners) for parallel investigation.
Python
- a2a-protocol
- anthropic
- aws-bedrock
- aws-lambda
- bedrock-agentcore
githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
3GitHub-Sternestabil

Lern- und Referenzressourcen

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

1
awesome-agentic-devops
MCP
AktivLetzter Commit vor 2 Tagen · 2026-09-01Quelle öffnen ↗
Curated + scored map of official MCP servers and agents for DevOps, Cloud, SRE, and Platform Engineering — every entry rated on production access, approval gates, and audit evidence.
PythonLizenz: MIT
- agent-skills
- agentic-ai
- agentic-devops
- ai-agents
- awesome
githubvor 2 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
77GitHub-Sternestabil

LLM-Beobachtbarkeit

Anwendungsfall

Aktivität

Sortieren nach

Werkzeug-Rangliste

mlflow

prefect

vector

signoz

superlog

Flawless

cilium

SkillForge

netdata

kubeshark

kubesphere

langfuse-mcp

anti-lie

com.pulsemcp/langfuse

AgentX-Python

idun-agent-platform

aura

rocketplaneIO

suede-creator-skills

seo-skill-bench

Agent-Reliability-and-Evaluation-Lab

forge-skills

multi-agent-credit-desk

sre-on-call

Lern- und Referenzressourcen

awesome-agentic-devops