ツールの説明は英語です。

LLM可観測性

LLMアプリの監視、トレース、評価、品質管理。

用途

アクティビティ

並び順

123

ツールランキング

Ranked by known GitHub stars, highest first; archived repositories come after maintained repositories. 各値は情報源固有の期間を使用し、変化の算出には7日間で2回以上の測定が必要です。

  1. 1

    その他
    活動中

    The fastest path to AI-powered full stack observability, even for lean teams.

    Goライセンス: GPL-3.0
    • ai
    • alerting
    • cncf
    • data-visualization
    • database

    github測定済み成長情報源を開く ↗

    80 402GitHubスター+91 (+0.11 %)
  2. 2

    その他
    活動中

    SigNoz is an open-source, OpenTelemetry-native observability platform for your team and their AI agents. Get logs, metrics, and traces in one tool with features like APM, distributed tracing, log management, infra monitoring, etc. Combined…

    TypeScript
    • apm
    • application-monitoring
    • distributed-tracing
    • go
    • good-first-issue

    github測定済み成長情報源を開く ↗

    31 992GitHubスター+62 (+0.19 %)
  3. 3

    エージェント
    活動中

    The open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models…

    Pythonライセンス: Apache-2.0
    • agentops
    • agents
    • ai
    • ai-governance
    • apache-spark

    github測定済み成長情報源を開く ↗

    27 768GitHubスター+80 (+0.29 %)
  4. 4

    その他
    活動中

    Mastra is the modern TypeScript framework for AI-powered applications and agents.

    TypeScript
    • agents
    • ai
    • chatbots
    • evals
    • javascript

    github測定済み成長情報源を開く ↗

    27 624GitHubスター+121 (+0.44 %)
  5. 5

    その他
    活動中

    eBPF-based Networking, Security, and Observability

    Goライセンス: Apache-2.0
    • bpf
    • cncf
    • cni
    • containers
    • ebpf

    github測定済み成長情報源を開く ↗

    25 041GitHubスター+27 (+0.11 %)
  6. 6

    その他
    活動中

    Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI…

    TypeScriptライセンス: MIT
    • ci
    • ci-cd
    • cicd
    • evaluation
    • evaluation-framework

    github測定済み成長情報源を開く ↗

    24 738GitHubスター+131 (+0.53 %)
  7. 7

    ライブラリ
    活動中

    Prefect is a workflow orchestration framework for building resilient data pipelines in Python.

    Pythonライセンス: Apache-2.0
    • automation
    • data
    • data-engineering
    • data-ops
    • data-science

    github測定済み成長情報源を開く ↗

    23 759GitHubスター+66 (+0.28 %)
  8. 8

    その他
    活動中

    A high-performance observability data pipeline.

    Rustライセンス: MPL-2.0
    • agent
    • cloud-native
    • data-transformation
    • datadog
    • etl

    github測定済み成長情報源を開く ↗

    22 507GitHubスター+45 (+0.20 %)
  9. 9

    その他
    活動中

    Open source observability platform for logs, metrics, traces, frontend monitoring, pipelines and LLM observability. A sophisticated, simple and highly performant alternative to Datadog, Splunk, and Elasticsearch with 140x lower storage…

    TypeScriptライセンス: AGPL-3.0
    • analytics
    • apm
    • datadog
    • elasticsearch
    • grafana

    github測定済み成長情報源を開く ↗

    21 608GitHubスター+115 (+0.54 %)
  10. 10

    スキル
    活動中

    The container platform tailored for Kubernetes multi-cloud, datacenter, and edge management ⎈ 🖥 ☁️

    Go
    • agent-skills
    • ai
    • cloud-native
    • cncf
    • devops

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/kubesphere/kubesphere ~/.claude/skills/kubesphere

    17 037GitHubスター+9 (+0.05 %)
  11. 11

    エージェント
    活動中

    eBPF-powered network observability for Kubernetes. Indexes L4/L7 traffic with full K8s context, decrypts TLS without keys. Queryable by AI agents via MCP and humans via dashboard.

    Goライセンス: Apache-2.0
    • cloud-native
    • devops
    • docker
    • ebpf
    • golang

    github測定済み成長情報源を開く ↗

    12 066GitHubスター+7 (+0.06 %)
  12. 12

    その他
    活動中

    the LLM vulnerability scanner

    Pythonライセンス: Apache-2.0
    • ai
    • llm-evaluation
    • llm-security
    • security-scanners
    • vulnerability-assessment

    github測定済み成長情報源を開く ↗

    9 079GitHubスター+43 (+0.48 %)
  13. 13

    MCP
    活動中

    🫖 Status page with uptime monitoring & API monitoring as code 🫖

    TypeScriptライセンス: AGPL-3.0
    • alerting
    • incident-management
    • mcp
    • mcp-server
    • monitoring

    github測定済み成長情報源を開く ↗

    9 052GitHubスター+28 (+0.31 %)
  14. 14

    スキル
    活動中

    YAO = Yielding AI Outcomes. A rigorous engineering, evaluation, governance, and portability system for reusable agent skills.

    Pythonライセンス: MIT
    • agent-skills
    • ai-agents
    • evaluation
    • governance
    • meta-skill

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/yaojingang/yao-meta-skill ~/.claude/skills/yao-meta-skill

    2 577GitHubスター+54 (+2.1 %)
  15. 15

    スキル
    活動中

    Build tested agent skills and govern their lifecycle through a user-defined marketplace: evidence, discovery, updates, rollback, quarantine, and 17-platform distribution.

    Pythonライセンス: MIT
    • agent-skills
    • ai-agents
    • claude-code
    • codex
    • cursor

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/FrancyJGLisboa/agent-skill-creator ~/.claude/skills/agent-skill-creator

    2 367GitHubスター+30 (+1.3 %)
  16. 16

    スキル
    活動中

    The Fable Workflow: how Claude Fable 5 worked, distilled into skills any model can run, with the eval that keeps it honest. Think / act / prove.

    Pythonライセンス: MIT
    • agent-skills
    • ai-agents
    • claude
    • claude-code
    • claude-md

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/Sahir619/fable-method ~/.claude/skills/fable-method

    2 272GitHubスター+19 (+0.84 %)
  17. 17

    MCP
    活動中

    A Go framework for building production agent systems with graph workflows, tools, memory, A2A, AG-UI, MCP, evaluation, and observability.

    Goライセンス: Apache-2.0
    • a2a
    • a2a-protocol
    • ag-ui
    • agent
    • agent-framework

    github測定済み成長情報源を開く ↗

    1 759GitHubスター+24 (+1.4 %)
  18. 18

    その他
    活動中

    Open-source observability tool that uses AI agents to self-heal your software

    TypeScriptライセンス: Apache-2.0
    • ai
    • llm
    • memory
    • observability
    • opentelemetry

    github測定済み成長情報源を開く ↗

    1 404GitHubスター+2 (+0.14 %)
  19. 19

    スキル
    活動中

    A skill creator that proves its skills work. Evidence-driven skill creation for Claude Code and Codex: baseline-tested generation, per-skill regression evals, ecosystem doctor, cross-runtime compile, and an opt-in proactive advisor.

    Pythonライセンス: MIT
    • agent-skills
    • claude-ai
    • claude-code
    • claude-skills
    • codex

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/tripleyak/SkillForge ~/.claude/skills/SkillForge

    884GitHubスター+3 (+0.34 %)
  20. 20

    スキル
    活動中

    OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards

    Pythonライセンス: Apache-2.0
    • agent
    • agent-skills
    • ai-agent
    • alignment
    • evaluation

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/agentscope-ai/OpenJudge ~/.claude/skills/OpenJudge

    809GitHubスター+10 (+1.3 %)
  21. 21

    その他
    活動中

    AI SRE AgenticOps for Kubernetes and cloud infrastructure.

    Python
    • agenticops
    • ai
    • aiops
    • aisre
    • cloud

    github測定済み成長情報源を開く ↗

    782GitHubスター+1 (+0.13 %)
  22. 22

    スキル
    活動中

    A test runner for agentskills.io-style AI agent skills

    TypeScriptライセンス: MIT
    • agent-evals
    • agent-skills
    • agentskills
    • ai-agents
    • cli

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/darkrishabh/agent-skills-eval ~/.claude/skills/agent-skills-eval

    719GitHubスター+15 (+2.1 %)
  23. 23

    エージェント
    活動中

    DataBuff is an AI-native APM built on Opentelemetry，with multi-agent troubleshooting out of the box.

    Javaライセンス: AGPL-3.0
    • aiops
    • apm
    • application-monitoring
    • devops
    • distributed-tracing

    github測定済み成長情報源を開く ↗

    634GitHubスター+26 (+4.3 %)
  24. 24

    スキル
    活動中

    Open-source infrastructure that turns scattered SKILL.md files into curated, retrieval-ready agent-skill corpora—with retrieval and evaluation tooling included.

    Pythonライセンス: Apache-2.0
    • agent-memory
    • agent-skills
    • ai-agents
    • benchmark
    • dataset

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/EverMind-AI/SkillCorpus ~/.claude/skills/SkillCorpus

    424GitHubスター+204 (+92.7 %)
  25. 25

    スキル
    活動中

    Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.

    Pythonライセンス: Apache-2.0
    • agent-evaluation
    • agent-security
    • agent-skills
    • agentic-ai
    • benchmark

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/NVIDIA/SkillEvaluator ~/.claude/skills/SkillEvaluator

    389GitHubスター+63 (+19.3 %)