LLM-Beobachtbarkeit

Werkzeug-Rangliste

Ranked by normalized popularity across sources. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1. 1

   promptfoo

   Sonstige

   AktivLetzter Commit heute · 2026-09-03

   Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI…

   TypeScriptLizenz: MIT

   • ci
   • ci-cd
   • cicd
   • evaluation
   • evaluation-framework

   githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   24 768GitHub-Sterne+142 (+0.58 %)
2. 2

   mlflow

   Agent

   AktivLetzter Commit heute · 2026-09-02

   The open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models…

   PythonLizenz: Apache-2.0

   • agentops
   • agents
   • ai
   • ai-governance
   • apache-spark

   githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   27 783GitHub-Sterne+82 (+0.30 %)
3. 3

   prefect

   Bibliothek

   AktivLetzter Commit heute · 2026-09-03

   Prefect is a workflow orchestration framework for building resilient data pipelines in Python.

   PythonLizenz: Apache-2.0

   • automation
   • data
   • data-engineering
   • data-ops
   • data-science

   githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   23 766GitHub-Sterne+66 (+0.28 %)
4. 4

   vector

   Sonstige

   AktivLetzter Commit heute · 2026-09-03

   A high-performance observability data pipeline.

   RustLizenz: MPL-2.0

   • agent
   • cloud-native
   • data-transformation
   • datadog
   • etl

   githubvor 8 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   22 509GitHub-Sterne+40 (+0.18 %)
5. 5

   openobserve

   Sonstige

   AktivLetzter Commit heute · 2026-09-03

   Open source observability platform for logs, metrics, traces, frontend monitoring, pipelines and LLM observability. A sophisticated, simple and highly performant alternative to Datadog, Splunk, and Elasticsearch with 140x lower storage…

   TypeScriptLizenz: AGPL-3.0

   • analytics
   • apm
   • datadog
   • elasticsearch
   • grafana

   githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   21 615GitHub-Sterne+96 (+0.45 %)
6. 6

   signoz

   Sonstige

   AktivLetzter Commit heute · 2026-09-03

   SigNoz is an open-source, OpenTelemetry-native observability platform for your team and their AI agents. Get logs, metrics, and traces in one tool with features like APM, distributed tracing, log management, infra monitoring, etc. Combined…

   TypeScript

   • apm
   • application-monitoring
   • distributed-tracing
   • go
   • good-first-issue

   githubvor 5 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   32 003GitHub-Sterne+50 (+0.16 %)
7. 7

   mastra

   Sonstige

   AktivLetzter Commit heute · 2026-09-03

   Mastra is the modern TypeScript framework for AI-powered applications and agents.

   TypeScript

   • agents
   • ai
   • chatbots
   • evals
   • javascript

   githubvor 2 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   27 658GitHub-Sterne+128 (+0.46 %)
8. 8

   netdata

   Sonstige

   AktivLetzter Commit heute · 2026-09-03

   The fastest path to AI-powered full stack observability, even for lean teams.

   GoLizenz: GPL-3.0

   • ai
   • alerting
   • cncf
   • data-visualization
   • database

   githubvor 13 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   80 412GitHub-Sterne+85 (+0.11 %)
9. 9

   cilium

   Sonstige

   AktivLetzter Commit heute · 2026-09-03

   eBPF-based Networking, Security, and Observability

   GoLizenz: Apache-2.0

   • bpf
   • cncf
   • cni
   • containers
   • ebpf

   githubvor 10 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

   25 047GitHub-Sterne+29 (+0.12 %)
10. 10

    kubeshark

    Agent

    AktivLetzter Commit vor 2 Tagen · 2026-09-01

    eBPF-powered network observability for Kubernetes. Indexes L4/L7 traffic with full K8s context, decrypts TLS without keys. Queryable by AI agents via MCP and humans via dashboard.

    GoLizenz: Apache-2.0

    • cloud-native
    • devops
    • docker
    • ebpf
    • golang

    githubvor 5 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    12 068GitHub-Sterne+8 (+0.07 %)
11. 11

    garak

    Sonstige

    AktivLetzter Commit vor 8 Tagen · 2026-08-25

    the LLM vulnerability scanner

    PythonLizenz: Apache-2.0

    • ai
    • llm-evaluation
    • llm-security
    • security-scanners
    • vulnerability-assessment

    githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    9 079GitHub-Sterne+31 (+0.34 %)
12. 12

    openstatus

    MCP

    AktivLetzter Commit heute · 2026-09-02

    🫖 Status page with uptime monitoring & API monitoring as code 🫖

    TypeScriptLizenz: AGPL-3.0

    • alerting
    • incident-management
    • mcp
    • mcp-server
    • monitoring

    githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    9 056GitHub-Sterne+31 (+0.34 %)
13. 13

    yao-meta-skill

    Skill

    AktivLetzter Commit vor 16 Tagen · 2026-08-17

    YAO = Yielding AI Outcomes. A rigorous engineering, evaluation, governance, and portability system for reusable agent skills.

    PythonLizenz: MIT

    • agent-skills
    • ai-agents
    • evaluation
    • governance
    • meta-skill

    githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/yaojingang/yao-meta-skill ~/.claude/skills/yao-meta-skill

    2 577GitHub-Sterne+35 (+1.4 %)
14. 14

    agent-skill-creator

    Skill

    AktivLetzter Commit vor 1 Tag · 2026-09-01

    Build tested agent skills and govern their lifecycle through a user-defined marketplace: evidence, discovery, updates, rollback, quarantine, and 17-platform distribution.

    PythonLizenz: MIT

    • agent-skills
    • ai-agents
    • claude-code
    • codex
    • cursor

    githubvor 10 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/FrancyJGLisboa/agent-skill-creator ~/.claude/skills/agent-skill-creator

    2 367GitHub-Sterne+28 (+1.2 %)
15. 15

    trpc-agent-go

    MCP

    AktivLetzter Commit vor 1 Tag · 2026-09-01

    A Go framework for building production agent systems with graph workflows, tools, memory, A2A, AG-UI, MCP, evaluation, and observability.

    GoLizenz: Apache-2.0

    • a2a
    • a2a-protocol
    • ag-ui
    • agent
    • agent-framework

    githubvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    1 759GitHub-Sterne+18 (+1.0 %)
16. 16

    superlog

    Sonstige

    AktivLetzter Commit vor 4 Tagen · 2026-08-30

    Open-source observability tool that uses AI agents to self-heal your software

    TypeScriptLizenz: Apache-2.0

    • ai
    • llm
    • memory
    • observability
    • opentelemetry

    githubvor 3 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    1 404GitHub-Sterne+2 (+0.14 %)
17. 17

    Flawless

    Sonstige

    AktivLetzter Commit vor 19 Tagen · 2026-08-14

    AI SRE AgenticOps for Kubernetes and cloud infrastructure.

    Python

    • agenticops
    • ai
    • aiops
    • aisre
    • cloud

    githubvor 55 Tagen erstelltgemessenes WachstumQuelle öffnen ↗

    782GitHub-Sterne+1 (+0.13 %)
18. 18

    agent-skills-eval

    Skill

    AktivLetzter Commit vor 28 Tagen · 2026-08-05

    A test runner for agentskills.io-style AI agent skills

    TypeScriptLizenz: MIT

    • agent-evals
    • agent-skills
    • agentskills
    • ai-agents
    • cli

    githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/darkrishabh/agent-skills-eval ~/.claude/skills/agent-skills-eval

    719GitHub-Sterne+13 (+1.8 %)
19. 19

    databuff

    Agent

    AktivLetzter Commit heute · 2026-09-02

    DataBuff is an AI-native APM built on Opentelemetry，with multi-agent troubleshooting out of the box.

    JavaLizenz: AGPL-3.0

    • aiops
    • apm
    • application-monitoring
    • devops
    • distributed-tracing

    githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    642GitHub-Sterne+32 (+5.2 %)
20. 20

    SkillCorpus

    Skill

    AktivLetzter Commit vor 1 Tag · 2026-09-01

    Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.

    PythonLizenz: Apache-2.0

    • agent-memory
    • agent-skills
    • ai-agents
    • benchmark
    • dataset

    githubvor 23 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/EverMind-AI/SkillCorpus ~/.claude/skills/SkillCorpus

    424GitHub-Sterne+170 (+66.9 %)
21. 21

    SkillEvaluator

    Skill

    AktivLetzter Commit vor 1 Tag · 2026-09-01

    Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.

    PythonLizenz: Apache-2.0

    • agent-evaluation
    • agent-security
    • agent-skills
    • agentic-ai
    • benchmark

    githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/NVIDIA/SkillEvaluator ~/.claude/skills/SkillEvaluator

    389GitHub-Sterne+57 (+17.2 %)
22. 22

    claude-code-karma

    Skill

    AktivLetzter Commit vor 4 Tagen · 2026-08-30

    Dashboard for monitoring claude code sessions.

    PythonLizenz: Apache-2.0

    • agents
    • agentskills
    • claude-code
    • claude-code-plugin
    • claude-code-skills

    githubvor 8 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    Installieren /plugin marketplace add JayantDevkar/claude-code-karma

    323GitHub-Sterne+2 (+0.62 %)
23. 23

    aura

    MCP

    AktivLetzter Commit vor 1 Tag · 2026-09-02

    AURA is a production-tested SRE agent platform you can deploy in minutes. AURA handles the guardrails, APIs, state management, streaming, and failure handling required to put AI to work safely on production infrastructure.

    RustLizenz: Apache-2.0

    • a2a
    • ai-agent-framework
    • ai-agents
    • ai-sre
    • aiops

    githubvor 6 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    254GitHub-Sterne-3 (-1.2 %)
24. 24

    langfuse-docs

    Skill

    AktivLetzter Commit vor 1 Tag · 2026-09-02

    🪢 Langfuse documentation -- Langfuse is the open source LLM Engineering Platform. Observability, evals, prompt management, playground and metrics to debug and improve LLM apps

    MDXLizenz: MIT

    • agent-skills
    • agents
    • genai
    • hacktoberfest
    • langfuse

    githubvor 3 Jahren erstelltgemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/langfuse/langfuse-docs ~/.claude/skills/langfuse-docs

    239GitHub-Sterne+3 (+1.3 %)
25. 25

    idun-agent-platform

    Skill

    AktivLetzter Commit vor 27 Tagen · 2026-08-06

    🟪 Open-source runtime that ships any LangGraph or Google ADK agent as a production-ready FastAPI service. Bundled , AG-UI copilotkit API, chat UI, 15+ guardrails, MCP, OpenTelemetry, OIDC. One pip install. Self-hosted, no vendor lock-in.

    PythonLizenz: GPL-3.0

    • a2a-protocol
    • ag-ui-protocol
    • agent-platform
    • agentic-ai
    • agents

    githubvor 15 Monaten erstelltgemessenes WachstumQuelle öffnen ↗

    Installieren git clone https://github.com/Idun-Group/idun-agent-platform ~/.claude/skills/idun-agent-platform

    198GitHub-Sterne-1 (-0.50 %)