ツールの説明は英語です。

LLM可観測性

LLMアプリの監視、トレース、評価、品質管理。

用途

アクティビティ

並び順

118

ツールランキング

Ranked by creation date, newest first; undated entries come last. 各値は情報源固有の期間を使用し、変化の算出には7日間で2回以上の測定が必要です。

  1. 1

    MCP
    活動中

    Governed local-LLM observability: model policy, prompt scanner, capture proxy, 21 tools.

    Pythonライセンス: MIT

      mcp測定済み成長情報源を開く ↗

      インストール claude mcp add ai-guardian -- uvx ai-guardian-aiops

      0GitHubスター安定
    • 2

      その他
      活動中

      AI SRE AgenticOps for Kubernetes and cloud infrastructure.

      Python
      • agenticops
      • ai
      • aiops
      • aisre
      • cloud

      github測定済み成長情報源を開く ↗

      782GitHubスター+1 (+0.13 %)
    • 3

      その他
      活動中

      🔑 HomeStream · 家园·流 — 零成本自托管多Agent协作框架，通往AI世界的那把钥匙 | Zero-cost self-hosted multi-agent framework — The key to AI world

      Pythonライセンス: MIT
      • a2a-protocol
      • agent-framework
      • ai
      • causal-memory
      • event-stream

      github測定済み成長情報源を開く ↗

      0GitHubスター安定
    • 4

      スキル
      活動中

      Turn one decision into a judged tournament of solutions, then pick the best — a Claude Code skill that generates candidates, auto-derives the rubric, judges independently, and returns a defensible winner.

      JavaScriptライセンス: MIT
      • ai-agents
      • anthropic
      • claude-code
      • claude-code-plugin
      • claude-skill

      github測定済み成長情報源を開く ↗

      インストール /plugin marketplace add CoriChui/bakeoff

      10GitHubスター安定
    • 5

      スキル
      活動中

      The Fable Workflow: how Claude Fable 5 worked, distilled into skills any model can run, with the eval that keeps it honest. Think / act / prove.

      Pythonライセンス: MIT
      • agent-skills
      • ai-agents
      • claude
      • claude-code
      • claude-md

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/Sahir619/fable-method ~/.claude/skills/fable-method

      2 272GitHubスター+16 (+0.71 %)
    • 6

      その他
      活動中

      Self-hosted AI SRE for Kubernetes — zero-instrumentation eBPF observability plus a copilot that fixes issues through guardrailed, self-verifying actions. BYO-LLM, air-gapped capable.

      Goライセンス: Apache-2.0
      • ai-agent
      • aiops
      • clickhouse
      • devops
      • ebpf

      github測定済み成長情報源を開く ↗

      131GitHubスター-4 (-3.0 %)
    • 7

      スキル
      活動中

      Open benchmark for Claude Code SEO skills — real headless execution against fixture sites with planted-defect answer keys. Deterministic scoring, pre-registered rubric.

      JavaScriptライセンス: MIT
      • aeo
      • agent-skills
      • ai
      • ai-seo
      • benchmark

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/aleclindz/seo-skill-bench ~/.claude/skills/seo-skill-bench

      51GitHubスター-5 (-8.9 %)
    • 8

      スキル
      活動中

      Make Claude Opus 4.8 behave like Claude Fable 5 — doctrine output style, drift-catching hooks, and an eval loop against golden Fable transcripts. Claude Code plugin.

      Shellライセンス: MIT
      • anthropic
      • claude
      • claude-code
      • claude-code-plugin
      • evals

      github測定済み成長情報源を開く ↗

      インストール /plugin marketplace add rennf93/opus-fable-playbook

      33GitHubスター安定
    • 9

      スキル
      活動中

      Claude Code plugin marketplace — agentic-engineering (spec-driven shape→decide→execute→measure→eval with adversarial review) + github-keeper (audit/elevate READMEs and make a repo open-source-ready).

      Pythonライセンス: MIT
      • adr
      • agentic-engineering
      • ai-agents
      • anthropic
      • claude-code

      github測定済み成長情報源を開く ↗

      インストール /plugin marketplace add GiustoPiedimonte/agentic-engineering-marketplace

      13GitHubスター安定
    • 10

      その他
      活動中

      AI-detector auditing toolkit: measures how often a detector flags genuine human writing, how stable its verdict is across seeds, and whether that verdict survives meaning-preserving edits. Detector-in-the-loop measurement harness. Claude…

      Pythonライセンス: MIT
      • ai-detection
      • ai-detector
      • benchmark
      • claude-code
      • claude-code-skill

      github測定済み成長情報源を開く ↗

      18GitHubスター安定
    • 11

      スキル
      活動中

      Multi-tier framework for evaluating AI agent skills with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.

      Pythonライセンス: Apache-2.0
      • agent-evaluation
      • agent-security
      • agent-skills
      • agentic-ai
      • benchmark

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/NVIDIA/SkillEvaluator ~/.claude/skills/SkillEvaluator

      389GitHubスター+57 (+17.2 %)
    • 12

      エージェント
      活動中

      Agent 降智检测与自愈公评网络 — an immune system for the AI agent society

      TypeScriptライセンス: MIT
      • a2a
      • agent
      • agent-guard
      • ai-sre
      • drift-detection

      github測定済み成長情報源を開く ↗

      1GitHubスター安定
    • 13

      エージェント
      活動中

      DataBuff is an AI-native APM built on Opentelemetry，with multi-agent troubleshooting out of the box.

      Javaライセンス: AGPL-3.0
      • aiops
      • apm
      • application-monitoring
      • devops
      • distributed-tracing

      github測定済み成長情報源を開く ↗

      642GitHubスター+32 (+5.2 %)
    • 14

      エージェント
      活動中

      A local A2A event and continuity service for agent applications, with structured history, provenance-safe transcripts, literal search, and natural-language queries.

      Pythonライセンス: BSD-2-Clause
      • a2a
      • agent-memory
      • ai-agents
      • event-sourcing
      • fastapi

      github測定済み成長情報源を開く ↗

      1GitHubスター+1
    • 15

      その他
      活動中

      Terminal-first validation harness for reviewing PRDs, RFCs, strategy docs, and experiment plans.

      TypeScript
      • ai-agents
      • claude-code
      • claude-code-skills
      • cli
      • evals

      github測定済み成長情報源を開く ↗

      1GitHubスター安定
    • 16

      MCP
      活動中

      Optimize any AI agent’s skills, tools/MCP, and prompts against your own evals.

      Pythonライセンス: Apache-2.0
      • agent-optimization
      • agent-skills
      • agentic-ai
      • ai-agents
      • claude

      github測定済み成長情報源を開く ↗

      47GitHubスター+1 (+2.2 %)
    • 17

      エージェント
      活動中

      A lightweight Python library that decouples agentic runtime from applications it builds

      Pythonライセンス: MIT
      • a2a
      • agent-runtime
      • agents
      • observability
      • portability

      github測定済み成長情報源を開く ↗

      1GitHubスター安定
    • 18

      スキル
      活動中

      Agent Skill evaluation harness for paired variants, trace artifacts, and runner adapters

      Pythonライセンス: MIT
      • agent-skills
      • evals
      • python
      • skills

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/adewale/skill-eval-harness ~/.claude/skills/skill-eval-harness

      73GitHubスター+4 (+5.8 %)
    • 19

      エージェント
      活動中

      The agent framework where the model never holds the trigger — every consequential action clears your policy first, waits for a human when it matters, and lands on a record you can verify. Build on it, or put it around the agent you already…

      Pythonライセンス: Apache-2.0
      • a2a
      • agent-framework
      • ai-agents
      • ai-governance
      • ai-safety

      github測定済み成長情報源を開く ↗

      1GitHubスター安定
    • 20

      スキル
      活動中

      Axiom is a curated marketplace of shared plugins for Claude Code and Codex.

      Pythonライセンス: MIT
      • agent-skills
      • anthropic
      • claude
      • claude-code
      • claude-code-marketplace

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/netopsengineer/axiom ~/.claude/skills/axiom

      5GitHubスター安定
    • 21

      その他
      活動中

      Local-first Agentic AI Infrastructure Platform with LLM Gateway, Agent DAG Runtime, MCP Tool Hub, A2A Agent Mesh, Local RAG, Tool Sandbox and Observability.

      Python
      • a2a
      • agent-runtime
      • ai-infra
      • deepseek
      • fastapi

      github測定済み成長情報源を開く ↗

      1GitHubスター安定
    • 22

      スキル
      活動中

      Anchor — the production-grade AGENTS.md template for AI coding agents. 51 sections of battle-tested rules. Keep your agents grounded.

      ライセンス: MIT
      • agent-instructions
      • agents-md
      • ai-agent-instructions
      • ai-coding
      • ai-coding-agent

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/peva3/anchor ~/.claude/skills/anchor

      8GitHubスター安定

    学習・参考リソース

    Ranked by creation date, newest first; undated entries come last. これらは個別に参照でき、主要ランキングには含まれません。

    1. 1

      awesome-llm-observability

      スキル
      活動中情報源を開く ↗

      50+ curated LLM observability tools PLUS 26 Agent Skills (several with runnable, unit-tested scripts) to build, evaluate, debug, secure & monitor reliable LLM apps. Tracing, evals, guardrails, LLMOps.

      Python
      • ai-agents
      • ai-engineering
      • ai-observability
      • awesome
      • awesome-list
      github

      インストール git clone https://github.com/ContextJet-ai/awesome-llm-observability ~/.claude/skills/awesome-llm-observability

      リソース測定済み成長
      32GitHubスター+2 (+6.7 %)
    2. 2

      awesome-agentic-devops

      MCP
      活動中情報源を開く ↗

      Curated + scored map of official MCP servers and agents for DevOps, Cloud, SRE, and Platform Engineering — every entry rated on production access, approval gates, and audit evidence.

      Pythonライセンス: MIT
      • agent-skills
      • agentic-ai
      • agentic-devops
      • ai-agents
      • awesome
      githubリソース測定済み成長
      77GitHubスター安定
    3. 3

      tunelab

      スキル
      活動中情報源を開く ↗

      Claude Code plugin for LLM fine-tuning, distillation, and evaluation — decide whether you need fine-tuning at all, distill your LLM logs into small local models (MLX/LoRA), evaluate with held-out discipline, and learn the why at every step.

      Pythonライセンス: MIT
      • claude-code
      • claude-code-plugin
      • distillation
      • fine-tuning
      • llm-evaluation
      github

      インストール /plugin marketplace add rchaz/tunelab

      リソース測定済み成長
      6GitHubスター安定