ツールの説明は英語です。

LLM可観測性

LLMアプリの監視、トレース、評価、品質管理。

用途

アクティビティ

並び順

121

ツールランキング

Ranked by known GitHub stars, highest first; archived repositories come after maintained repositories. 各値は情報源固有の期間を使用し、変化の算出には7日間で2回以上の測定が必要です。

  1. 1

    エージェント
    活動中

    MemroOS / memroos: memory OS and governance layer for AI agents, agent workflows, dispatch, proof, and context continuity.

    TypeScript
    • a2a
    • agent-governance
    • agent-memory
    • agent-orchestration
    • agent-workflows

    github測定済み成長情報源を開く ↗

    7GitHubスター安定
  2. 2

    エージェント
    活動中

    Amazon Bedrock AgentCore enterprise platform accelerator with AWS CDK, Terraform organization guardrails, MCP/A2A agents, security, memory, and observability.

    Pythonライセンス: Apache-2.0
    • a2a-protocol
    • agentcore
    • agentcore-agent
    • agentcore-gateway
    • agentcore-identity

    github測定済み成長情報源を開く ↗

    6GitHubスター+1 (+20.0 %)
  3. 3

    MCP
    休止中

    Open-source Python framework to deploy AI agents via HTTP, A2A, and MCP with built-in observability

    Pythonライセンス: MIT
    • a2a
    • a2a-client
    • a2a-server
    • agent-evaluation
    • agentic-ai

    github測定済み成長情報源を開く ↗

    5GitHubスター安定
  4. 4

    スキル
    活動中

    Axiom is a curated marketplace of shared plugins for Claude Code and Codex.

    Pythonライセンス: MIT
    • agent-skills
    • anthropic
    • claude
    • claude-code
    • claude-code-marketplace

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/netopsengineer/axiom ~/.claude/skills/axiom

    5GitHubスター安定
  5. 5

    スキル
    活動中

    Marketing Mix Model expert agent plugin for Claude Code - pymc-marketing v0.18.2+

    Python
    • claude-code-agent
    • claude-code-plugin
    • claude-code-skill
    • data-analysis
    • data-analytics

    github測定済み成長情報源を開く ↗

    インストール /plugin marketplace add Yakoub-ai/agent-mmm

    4GitHubスター安定
  6. 6

    エージェント
    活動中

    Multi-agent SRE on-call investigator that auto-triages Slack/Discord infrastructure alerts via AWS Bedrock AgentCore, fanning out to specialized agents (CloudWatch, EKS, Slack/Discord scanners) for parallel investigation.

    Python
    • a2a-protocol
    • anthropic
    • aws-bedrock
    • aws-lambda
    • bedrock-agentcore

    github測定済み成長情報源を開く ↗

    3GitHubスター安定
  7. 7

    エージェント
    休止中

    Real-time debugging proxy for Agent2Agent (A2A) multi-agent systems

    ライセンス: MIT
    • a2a
    • agent2agent
    • debugging
    • debugging-tool
    • developer-tools

    github測定済み成長情報源を開く ↗

    3GitHubスター安定
  8. 8

    スキル
    休止中

    An assembly line for AI software development. 35 skills, 11 agent personas, 29 commands. From raw idea to shipped code.

    Shellライセンス: MIT
    • agentic-engineering
    • agents
    • claude-code
    • claude-code-plugin
    • claude-code-skills

    github測定済み成長情報源を開く ↗

    インストール /plugin marketplace add aneja5/forge-skills

    3GitHubスター安定
  9. 9

    MCP
    活動中

    Production reliability, benchmarking, and evaluation layer for MCP agent runtimes — protocol negotiation, A2A interop, circuit breakers, connection pooling, adaptive streaming, and autoscaling, with measured throughput/latency and a…

    Pythonライセンス: Apache-2.0
    • a2a-protocol
    • agent-to-agent
    • ai-agents
    • async-python
    • autoscaling

    github測定済み成長情報源を開く ↗

    3GitHubスター安定
  10. 10

    MCP
    活動中

    A typed, replayable, budget-aware programming language for LLM agents. Compiles to Python & TypeScript.

    Shell
    • a2a
    • agent-framework
    • agentic-ai
    • ai
    • ai-agents

    github測定済み成長情報源を開く ↗

    2GitHubスター安定
  11. 11

    その他
    休止中

    Multi-agent customer support system with Google ADK & Gemini 2.5 Flash Lite. Kaggle capstone demonstrating 11+ concepts. Automates 80%+ queries, <10s response time.

    Pythonライセンス: MIT
    • a2a-protocol
    • agent-evaluation
    • google-adk
    • multi-agent-system
    • observability

    github測定済み成長情報源を開く ↗

    2GitHubスター安定
  12. 12

    スキル
    活動中

    Multi-agent quality gate skill for Claude Code that researches, reviews, tests and challenges AI-generated work before the final answer.

    • agentic-coding
    • agentic-workflow
    • ai-agent-skills
    • ai-code-review
    • ai-workflows

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/ma-nucho-pro/supervisor-skill-claude ~/.claude/skills/supervisor-skill-claude

    2GitHubスター安定
  13. 13

    スキル
    活動中

    Production patterns for agent orchestrators, harnesses, evals, MCP/A2A interoperability, memory, provider routing, and LLM usage metering.

    Pythonライセンス: MIT
    • a2a
    • agent-orchestration
    • agent-skills
    • ai-agents
    • developer-tools

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/ssheleg/agent-stack ~/.claude/skills/agent-stack

    2GitHubスター安定
  14. 14

    エージェント
    休止中

    A Multi-Agent System (MAS) evaluation framework using PydanticAI that generates and evaluates scientific paper reviews through a three-tiered assessment approach: traditional metrics, LLM-as-a-Judge, and graph-based complexity analysis.

    Pythonライセンス: Apache-2.0
    • a2a-protocol
    • agent-evaluation
    • agentbeats
    • ai-agents
    • benchmarks

    github測定済み成長情報源を開く ↗

    2GitHubスター安定
  15. 15

    スキル
    活動中

    Claude Code skills where every entry ships receipts — accuracy-gated benchmarks against baseline and placebo, rejects published

    JavaScriptライセンス: MIT
    • agent-skills
    • ai-agents
    • anthropic
    • benchmark
    • claude

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/sjh9714/skill-receipts ~/.claude/skills/skill-receipts

    2GitHubスター安定
  16. 16

    スキル
    活動中

    Your LLM reviewer said APPROVE. Did it? A structured verdict contract: prompt rule + parser + exit-code gate in one stdlib file, with the 42 counterexamples that forced every line. Free, MIT.

    Pythonライセンス: MIT
    • agent-skills
    • ai-agents
    • ci
    • claude-code
    • claude-code-skills

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/tonydzi/verdict-contract ~/.claude/skills/verdict-contract

    2GitHubスター安定
  17. 17

    スキル
    活動中

    Description Evidence-driven evaluation, benchmarking, and verified repair for Agent Skills across Codex, Claude Code, Gemini CLI, and Antigravity.

    Pythonライセンス: MIT
    • agent-skills
    • agentic-ai
    • ai-agents
    • ai-evaluation
    • ai-safety

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/MaxLaurieHutchinson/skill-evaluation-graph ~/.claude/skills/skill-evaluation-graph

    2GitHubスター安定
  18. 18

    その他
    活動中

    Terminal-first validation harness for reviewing PRDs, RFCs, strategy docs, and experiment plans.

    TypeScript
    • ai-agents
    • claude-code
    • claude-code-skills
    • cli
    • evals

    github測定済み成長情報源を開く ↗

    1GitHubスター安定
  19. 19

    その他
    休止中

    Official Python SDK for GT8004 — AI agent observability with MCP, A2A, x402 payment tracking. FastAPI, Flask, FastMCP middleware included.

    Pythonライセンス: MIT
    • a2a
    • ai-agent
    • analytics
    • fastapi
    • flask

    github測定済み成長情報源を開く ↗

    1GitHubスター安定
  20. 20

    エージェント
    活動中

    The agent framework where the model never holds the trigger — every consequential action clears your policy first, waits for a human when it matters, and lands on a record you can verify. Build on it, or put it around the agent you already…

    Pythonライセンス: Apache-2.0
    • a2a
    • agent-framework
    • ai-agents
    • ai-governance
    • ai-safety

    github測定済み成長情報源を開く ↗

    1GitHubスター安定
  21. 21

    MCP
    活動中

    8 MCP SMB products — standalone AI servers for SMBs: Guardrails, FinOps, Observability, Router, Trust Score, Memory, ThinkSecure, A2A Lite. 37 tools, TNC credits billing.

    Pythonライセンス: MIT
    • a2a-protocol
    • ai-governance
    • finops
    • guardrails
    • mcp

    github測定済み成長情報源を開く ↗

    1GitHubスター安定
  22. 22

    エージェント
    活動中

    Generic DeepSeek Harness (dsh) plugins: A2A protocol server, session storage mirror, and Langfuse observability.

    TypeScriptライセンス: MIT
    • agent2agent
    • ai-agents
    • cordis
    • deepseek-harness
    • dsh

    github測定済み成長情報源を開く ↗

    1GitHubスター安定
  23. 23

    エージェント
    活動中

    A local A2A event and continuity service for agent applications, with structured history, provenance-safe transcripts, literal search, and natural-language queries.

    Pythonライセンス: BSD-2-Clause
    • a2a
    • agent-memory
    • ai-agents
    • event-sourcing
    • fastapi

    github測定済み成長情報源を開く ↗

    1GitHubスター安定
  24. 24

    エージェント
    休止中

    The reliability and interoperability layer for AI agents. A2A-native. MCP-bridged.

    Pythonライセンス: Apache-2.0
    • a2a
    • agent-framework
    • agents
    • ai
    • ai-safety

    github測定済み成長情報源を開く ↗

    1GitHubスター安定

学習・参考リソース

Ranked by known GitHub stars, highest first; archived repositories come after maintained repositories. これらは個別に参照でき、主要ランキングには含まれません。

  1. 1

    tunelab

    スキル
    活動中情報源を開く ↗

    Claude Code plugin for LLM fine-tuning, distillation, and evaluation — decide whether you need fine-tuning at all, distill your LLM logs into small local models (MLX/LoRA), evaluate with held-out discipline, and learn the why at every step.

    Pythonライセンス: MIT
    • claude-code
    • claude-code-plugin
    • distillation
    • fine-tuning
    • llm-evaluation
    github

    インストール /plugin marketplace add rchaz/tunelab

    リソース測定済み成長
    6GitHubスター安定