Die Werkzeugbeschreibungen sind auf Englisch.

LLM-Beobachtbarkeit

Monitoring, Traces, Bewertung und Qualität von LLM-Anwendungen.

122

Werkzeug-Rangliste

Gemischte Rangfolge: Gemessenes Wachstum hat Vorrang. Rohwerte behalten ihr eigenes Zeitfenster; eine Änderung erfordert mindestens zwei Messungen in 7 Tagen.

1
eval-layer
Sonstige
RuhendLetzter Commit vor 4 Monaten · 2026-04-29
A Claude Code skill that adds a rubric-based eval layer to any agent project. Framework-agnostic — generates rubric, test cases, judge prompt, and harness. Returns a weighted score plus a judge-leniency signal.
HTML
- agent-evaluation
- anthropic
- claude-code
- claude-code-skill
- evals
githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
13GitHub-Sternestabil
2
evoagent-os
Agent
AktivLetzter Commit vor 26 Tagen · 2026-08-10
Local-first control plane for durable, governed agent teams: DAG orchestration, approvals, memory, signed skills, trace contracts, and realtime.
PythonLizenz: Apache-2.0
- a2a-protocol
- agentic-ai
- ai-agents
- fastapi
- llmops
githubvor 26 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
0GitHub-Sternestabil
3
memroos
Agent
AktivLetzter Commit vor 2 Tagen · 2026-09-04
MemroOS / memroos: memory OS and governance layer for AI agents, agent workflows, dispatch, proof, and context continuity.
TypeScript
- a2a
- agent-governance
- agent-memory
- agent-orchestration
- agent-workflows
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
7GitHub-Sternestabil
4
homestream
Sonstige
AktivLetzter Commit vor 53 Tagen · 2026-07-14
🔑 HomeStream · 家园·流 — 零成本自托管多Agent协作框架，通往AI世界的那把钥匙 | Zero-cost self-hosted multi-agent framework — The key to AI world
PythonLizenz: MIT
- a2a-protocol
- agent-framework
- ai
- causal-memory
- event-stream
githubvor 57 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
0GitHub-Sternestabil
5
adl-cli
Sonstige
AktivLetzter Commit vor 1 Tag · 2026-09-04
A command-line tool to scaffold and manage enterprise-ready AI Agents powered by the A2A (Agent-to-Agent) protocol
GoLizenz: Apache-2.0
- a2a
- agents
- ai
- containerized
- docker
githubvor 13 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
14GitHub-Sterne+1 (+7.7 %)
6
simple-output-styles
Skill
AktivLetzter Commit heute · 2026-09-05
Make Claude write clearly, for everyone.
PythonLizenz: 0BSD
- claude-code
- claude-code-plugin
- controlled-language
- llm-evaluation
- output-style
githubvor 35 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add stefanobaghino/simple-output-styles
16GitHub-Sternestabil
7
agent-mmm
Skill
AktivLetzter Commit vor 2 Tagen · 2026-09-03
Marketing Mix Model expert agent plugin for Claude Code - pymc-marketing v0.18.2+
Python
- claude-code-agent
- claude-code-plugin
- claude-code-skill
- data-analysis
- data-analytics
githubvor 5 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add Yakoub-ai/agent-mmm
4GitHub-Sternestabil
8
tulip-agents
Agent
AktivLetzter Commit vor 10 Tagen · 2026-08-26
The agent framework where the model never holds the trigger — every consequential action clears your policy first, waits for a human when it matters, and lands on a record you can verify. Build on it, or put it around the agent you already…
PythonLizenz: Apache-2.0
- a2a
- agent-framework
- ai-agents
- ai-governance
- ai-safety
githubvor 2 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
1GitHub-Sternestabil
9
Agents-eval
Agent
RuhendLetzter Commit vor 3 Monaten · 2026-05-17
A Multi-Agent System (MAS) evaluation framework using PydanticAI that generates and evaluates scientific paper reviews through a three-tiered assessment approach: traditional metrics, LLM-as-a-Judge, and graph-based complexity analysis.
PythonLizenz: Apache-2.0
- a2a-protocol
- agent-evaluation
- agentbeats
- ai-agents
- benchmarks
githubvor 19 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
10
io.github.OtherVibes/mcp-as-a-judge
MCP
RuhendLetzter Commit vor 8 Monaten · 2025-12-15
MCP as a Judge: a behavioral MCP that strengthens AI coding assistants via explicit LLM evaluations
PythonLizenz: MIT
mcpvor 12 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren claude mcp add mcp-as-a-judge -- uvx mcp-as-a-judge
17GitHub-Sternestabil
11
Multi_AI_Agent_Medical_Assistant
Agent
RuhendLetzter Commit vor 9 Monaten · 2025-12-08
An AI-powered multi-agent system that demonstrates clinical triage, OTC medication recommendations, and e-pharmacy integration for respiratory conditions. Built with modular agents that collaborate to provide safe, intelligent healthcare…
Python
- agent-to-agent
- agentic-ai
- aiagent
- antigravity-ide
- cursor-ai
githubvor 9 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
0GitHub-Sternestabil
12
CustoFlow
Sonstige
RuhendLetzter Commit vor 3 Monaten · 2026-06-04
Multi-agent customer support system with Google ADK & Gemini 2.5 Flash Lite. Kaggle capstone demonstrating 11+ concepts. Automates 80%+ queries, <10s response time.
PythonLizenz: MIT
- a2a-protocol
- agent-evaluation
- google-adk
- multi-agent-system
- observability
githubvor 9 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
2GitHub-Sternestabil
13
multi-agent-credit-desk
MCP
AktivLetzter Commit vor 27 Tagen · 2026-08-09
Architecture-first Python scaffold for an auditable multi-agent corporate credit desk using A2A, MCP, deterministic credit policies, model routing, and OpenTelemetry.
Python
- a2a-protocol
- agentic-ai
- auditability
- clean-architecture
- credit-risk
githubvor 52 Tagen erstelltgemessenes WachstumQuelle öffnen ↗
0GitHub-Sternestabil
14
parallel-adversarial-review
Skill
RuhendLetzter Commit vor 3 Monaten · 2026-06-06
Two Claude Code skills for adversarial code review (single-model PAR and multi-model MMAR with cross-critique to catch hallucinations), plus a fixture-based eval suite.
Python
- ai-agents
- claude-code-plugin
- code-review
- evals
- python
githubvor 4 Monaten erstelltgemessenes WachstumQuelle öffnen ↗
Installieren /plugin marketplace add prime-radiant-inc/parallel-adversarial-review
17GitHub-Sternestabil
15
mini-program-engineering-skill-suite
Skill
AktivLetzter Commit vor 4 Tagen · 2026-09-01
Mini Program Engineering Skill Suite is an Agent Skill suite for evidence‑first mini‑program development. It helps agents bring WeChat or other mini‑program projects from vague intent to reliable engineering work: project intake, product…
PythonLizenz: MIT
- agent-skills
- ai-agents
- alipay
- ci-cd
- claude-code
githubvor 23 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/NocodeMrLi/mini-program-engineering-skill-suite ~/.claude/skills/mini-program-engineering-skill-suite
45GitHub-Sterne+6 (+15.4 %)
16
sc-prism-releases
Skill
AktivLetzter Commit vor 2 Tagen · 2026-09-03
Run many AIs on one board and keep control of all of it. Deterministic code decides who acts — never a model. A privacy floor keeps sensitive work on your machine, your own tests decide what counts as done, and every action lands on a…
- a2a
- agent-orchestration
- agent-skills
- ai-agents
- ai-governance
githubvor 2 Tagen erstelltneugemessenes WachstumQuelle öffnen ↗
Installieren git clone https://github.com/sandhusukhdeep2/sc-prism-releases ~/.claude/skills/sc-prism-releases
1GitHub-Sternestabil
17
superlog
Sonstige
AktivLetzter Commit vor 6 Tagen · 2026-08-30
Open-source observability tool that uses AI agents to self-heal your software
TypeScriptLizenz: Apache-2.0
- ai
- llm
- memory
- observability
- opentelemetry
githubvor 3 Monaten erstelltgeschätztes MomentumQuelle öffnen ↗
1 404GitHub-Sterne—

Lern- und Referenzressourcen

Nach gemessenem Wachstum und quellenübergreifend normalisiert sortiert. Diese Ressourcen bleiben getrennt zugänglich und fließen nicht in die Hauptwertung ein.

1
Agentic_AI_Engineer
Agent
AktivLetzter Commit vor 4 Tagen · 2026-09-01Quelle öffnen ↗
My complete journey to becoming an Agentic AI Engineer through structured learning, projects, experiments, and production-ready implementations of modern AI systems.
Jupyter NotebookLizenz: MIT
- a2a-protocol
- agent-orchestration
- ai-guardrails
- fastapi
- kubernetes
githubvor 4 Tagen aktivvor 41 Tagen erstelltRessourcegemessenes Wachstum
18GitHub-Sternestabil
2
awesome-llm-observability
Skill
AktivLetzter Commit vor 5 Tagen · 2026-08-31Quelle öffnen ↗
50+ curated LLM observability tools PLUS 26 Agent Skills (several with runnable, unit-tested scripts) to build, evaluate, debug, secure & monitor reliable LLM apps. Tracing, evals, guardrails, LLMOps.
Python
- ai-agents
- ai-engineering
- ai-observability
- awesome
- awesome-list
github
Installieren git clone https://github.com/ContextJet-ai/awesome-llm-observability ~/.claude/skills/awesome-llm-observability
vor 5 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
33GitHub-Sterne+2 (+6.5 %)
3
production-ai-engineering
Agent
AktivLetzter Commit vor 47 Tagen · 2026-07-20Quelle öffnen ↗
Handbook técnico aberto sobre engenharia de IA em produção: ML tradicional, LLMs, RAG, agentes, segurança, observabilidade, FinOps e deployment.
Markdown
- a2a-protocol
- agentic-ai
- ai
- ai-agents
- ai-engineering
githubvor 47 Tagen aktivvor 3 Monaten erstelltRessourcegemessenes Wachstum
1GitHub-Sternestabil
4
trigger_tree
Skill
AktivLetzter Commit vor 4 Tagen · 2026-09-01Quelle öffnen ↗
Documentation-discovery telemetry for Claude Code — heat/cold maps, health grade, evidence-backed router fixes. 100% local, zero tokens. /tt
PythonLizenz: MIT
- ai-agents
- claude-code
- claude-code-plugin
- docs-as-code
- documentation
github
Installieren /plugin marketplace add Hedde/trigger_tree
vor 4 Tagen aktivvor 50 Tagen erstelltRessourcegemessenes Wachstum
14GitHub-Sternestabil
5
tunelab
Skill
AktivLetzter Commit vor 42 Tagen · 2026-07-25Quelle öffnen ↗
Claude Code plugin for LLM fine-tuning, distillation, and evaluation — decide whether you need fine-tuning at all, distill your LLM logs into small local models (MLX/LoRA), evaluate with held-out discipline, and learn the why at every step.
PythonLizenz: MIT
- claude-code
- claude-code-plugin
- distillation
- fine-tuning
- llm-evaluation
github
Installieren /plugin marketplace add rchaz/tunelab
vor 42 Tagen aktivvor 2 Monaten erstelltRessourcegemessenes Wachstum
6GitHub-Sternestabil

LLM-Beobachtbarkeit

Anwendungsfall

Aktivität

Sortieren nach

Werkzeug-Rangliste

eval-layer

evoagent-os

memroos

homestream

adl-cli

simple-output-styles

agent-mmm

tulip-agents

Agents-eval

io.github.OtherVibes/mcp-as-a-judge

Multi_AI_Agent_Medical_Assistant

CustoFlow

multi-agent-credit-desk

parallel-adversarial-review

mini-program-engineering-skill-suite

sc-prism-releases

superlog

Lern- und Referenzressourcen

Agentic_AI_Engineer

awesome-llm-observability

production-ai-engineering

trigger_tree

tunelab