ツールの説明は英語です。

LLM可観測性

LLMアプリの監視、トレース、評価、品質管理。

用途

アクティビティ

並び順

123

ツールランキング

Ranked by creation date, newest first; undated entries come last. 各値は情報源固有の期間を使用し、変化の算出には7日間で2回以上の測定が必要です。

  1. 1

    スキル
    活動中

    Build tested agent skills and govern their lifecycle through a user-defined marketplace: evidence, discovery, updates, rollback, quarantine, and 17-platform distribution.

    Pythonライセンス: MIT
    • agent-skills
    • ai-agents
    • claude-code
    • codex
    • cursor

    github測定済み成長情報源を開く ↗

    インストール git clone https://github.com/FrancyJGLisboa/agent-skill-creator ~/.claude/skills/agent-skill-creator

    2 367GitHubスター+15 (+0.64 %)
  2. 2

    エージェント
    活動中

    A2A green-agent orchestrator for evaluating agents on the AppWorld benchmark, built on the AgentBeats SDK

    Python
    • a2a-protocol
    • agentbeats
    • appworld
    • evaluation
    • llm-agents

    github測定済み成長情報源を開く ↗

    0GitHubスター安定
  3. 3

    MCP
    休止中

    MCP as a Judge: a behavioral MCP that strengthens AI coding assistants via explicit LLM evaluations

    Pythonライセンス: MIT

      mcp測定済み成長情報源を開く ↗

      インストール claude mcp add mcp-as-a-judge -- uvx mcp-as-a-judge

      17GitHubスター安定
    • 4

      その他
      活動中

      A command-line tool to scaffold and manage enterprise-ready AI Agents powered by the A2A (Agent-to-Agent) protocol

      Goライセンス: Apache-2.0
      • a2a
      • agents
      • ai
      • containerized
      • docker

      github測定済み成長情報源を開く ↗

      14GitHubスター+1 (+7.7 %)
    • 5

      エージェント
      活動中

      The Operating System for Scalable Enterprise AI Agents - Run, orchestrate, and deploy Compliant Enterprise AI Agents at scale across frameworks, without lock-in, rewrites or fragile glue code. Native support for MCP, A2A. Interface with all…

      Pythonライセンス: Apache-2.0
      • a2a
      • adk
      • ai-agents
      • aws
      • azure

      github測定済み成長情報源を開く ↗

      166GitHubスター+25 (+17.7 %)
    • 6

      スキル
      活動中

      OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards

      Pythonライセンス: Apache-2.0
      • agent
      • agent-skills
      • ai-agent
      • alignment
      • evaluation

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/agentscope-ai/OpenJudge ~/.claude/skills/OpenJudge

      816GitHubスター+11 (+1.4 %)
    • 7

      スキル
      活動中

      🟪 Open-source runtime that ships any LangGraph or Google ADK agent as a production-ready FastAPI service. Bundled , AG-UI copilotkit API, chat UI, 15+ guardrails, MCP, OpenTelemetry, OIDC. One pip install. Self-hosted, no vendor lock-in.

      Pythonライセンス: GPL-3.0
      • a2a-protocol
      • ag-ui-protocol
      • agent-platform
      • agentic-ai
      • agents

      github測定済み成長情報源を開く ↗

      インストール git clone https://github.com/Idun-Group/idun-agent-platform ~/.claude/skills/idun-agent-platform

      199GitHubスター安定
    • 8

      MCP
      活動中

      A Go framework for building production agent systems with graph workflows, tools, memory, A2A, AG-UI, MCP, evaluation, and observability.

      Goライセンス: Apache-2.0
      • a2a
      • a2a-protocol
      • ag-ui
      • agent
      • agent-framework

      github測定済み成長情報源を開く ↗

      1 763GitHubスター+15 (+0.86 %)
    • 9

      MCP
      活動中

      MCP server for Langfuse LLM observability — trace and observation analysis.

      TypeScriptライセンス: MIT

        mcp測定済み成長情報源を開く ↗

        インストール claude mcp add langfuse -- npx langfuse-observability-mcp-server

        80GitHubスター+2 (+2.6 %)
      • 10

        MCP
        活動中

        A Model Context Protocol (MCP) server for Langfuse, enabling AI agents to query Langfuse trace data for enhanced debugging and observability

        Pythonライセンス: MIT
        • agent-skills
        • ai-agents
        • claude-code
        • codex
        • developer-tools

        github測定済み成長情報源を開く ↗

        105GitHubスター安定
      • 11

        エージェント
        休止中

        A Multi-Agent System (MAS) evaluation framework using PydanticAI that generates and evaluates scientific paper reviews through a three-tiered assessment approach: traditional metrics, LLM-as-a-Judge, and graph-based complexity analysis.

        Pythonライセンス: Apache-2.0
        • a2a-protocol
        • agent-evaluation
        • agentbeats
        • ai-agents
        • benchmarks

        github測定済み成長情報源を開く ↗

        2GitHubスター安定
      • 12

        その他
        活動中

        Mastra is the modern TypeScript framework for AI-powered applications and agents.

        TypeScript
        • agents
        • ai
        • chatbots
        • evals
        • javascript

        github測定済み成長情報源を開く ↗

        27 712GitHubスター+149 (+0.54 %)
      • 13

        MCP
        活動中

        🫖 Status page with uptime monitoring & API monitoring as code 🫖

        TypeScriptライセンス: AGPL-3.0
        • alerting
        • incident-management
        • mcp
        • mcp-server
        • monitoring

        github測定済み成長情報源を開く ↗

        9 060GitHubスター+31 (+0.34 %)
      • 14

        その他
        活動中

        the LLM vulnerability scanner

        Pythonライセンス: Apache-2.0
        • ai
        • llm-evaluation
        • llm-security
        • security-scanners
        • vulnerability-assessment

        github測定済み成長情報源を開く ↗

        9 110GitHubスター+37 (+0.41 %)
      • 15

        その他
        活動中

        Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI…

        TypeScriptライセンス: MIT
        • ci
        • ci-cd
        • cicd
        • evaluation
        • evaluation-framework

        github測定済み成長情報源を開く ↗

        24 825GitHubスター+159 (+0.64 %)
      • 16

        その他
        活動中

        Open source observability platform for logs, metrics, traces, frontend monitoring, pipelines and LLM observability. A sophisticated, simple and highly performant alternative to Datadog, Splunk, and Elasticsearch with 140x lower storage…

        TypeScriptライセンス: AGPL-3.0
        • analytics
        • apm
        • datadog
        • elasticsearch
        • grafana

        github測定済み成長情報源を開く ↗

        21 643GitHubスター+87 (+0.40 %)
      • 17

        エージェント
        活動中

        eBPF-powered network observability for Kubernetes. Indexes L4/L7 traffic with full K8s context, decrypts TLS without keys. Queryable by AI agents via MCP and humans via dashboard.

        Goライセンス: Apache-2.0
        • cloud-native
        • devops
        • docker
        • ebpf
        • golang

        github測定済み成長情報源を開く ↗

        12 068GitHubスター+7 (+0.06 %)
      • 18

        その他
        活動中

        SigNoz is an open-source, OpenTelemetry-native observability platform for your team and their AI agents. Get logs, metrics, and traces in one tool with features like APM, distributed tracing, log management, infra monitoring, etc. Combined…

        TypeScript
        • apm
        • application-monitoring
        • distributed-tracing
        • go
        • good-first-issue

        github測定済み成長情報源を開く ↗

        32 012GitHubスター+42 (+0.13 %)
      • 19

        その他
        活動中

        A high-performance observability data pipeline.

        Rustライセンス: MPL-2.0
        • agent
        • cloud-native
        • data-transformation
        • datadog
        • etl

        github測定済み成長情報源を開く ↗

        22 511GitHubスター+24 (+0.11 %)
      • 20

        ライブラリ
        活動中

        Prefect is a workflow orchestration framework for building resilient data pipelines in Python.

        Pythonライセンス: Apache-2.0
        • automation
        • data
        • data-engineering
        • data-ops
        • data-science

        github測定済み成長情報源を開く ↗

        23 783GitHubスター+67 (+0.28 %)
      • 21

        エージェント
        活動中

        The open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models…

        Pythonライセンス: Apache-2.0
        • agentops
        • agents
        • ai
        • ai-governance
        • apache-spark

        github測定済み成長情報源を開く ↗

        27 817GitHubスター+86 (+0.31 %)
      • 22

        その他
        活動中

        eBPF-based Networking, Security, and Observability

        Goライセンス: Apache-2.0
        • bpf
        • cncf
        • cni
        • containers
        • ebpf

        github測定済み成長情報源を開く ↗

        25 070GitHubスター+42 (+0.17 %)
      • 23

        その他
        活動中

        The fastest path to AI-powered full stack observability, even for lean teams.

        Goライセンス: GPL-3.0
        • ai
        • alerting
        • cncf
        • data-visualization
        • database

        github測定済み成長情報源を開く ↗

        80 432GitHubスター+78 (+0.10 %)