Tag

#agentops

2026/7/7 Clickhouse

LangfuseのLLMトレースをClickHouseで長期分析する

LangfuseのObservationとScoreをClickHouseへ正規化し、モデル別コスト、prompt version別の品質推移、再試行によるコスト増をSQLで確認する検証ログ。

Cloudflare Pagesの静的UI、Pages Function、Workers AI binding、AI Gatewayを組み合わせ、ブラウザにAPIキーを出さないAIチャットBotの最小構成を検証する。

生成、評価、フィードバック、再生成のループをLangfuseへ送り、最終結果だけでなく試行ごとの改善経路を追えるかを検証します。

2026/7/4 AgentOps

AI Gatewayのログにfeedback、score、metadataを後付けし、LLMのリクエストログを改善対象の評価データへ変えるための小さな検証メモ。

2026/7/1 設計

LLMの出力改善ループで、評価基準が粗いままだと弱い出力が合格してしまう問題を、外部APIに依存しない検証スクリプトで確認します。ルーブリックを運用しながら育てるための判断軸を整理しました。

2026/6/30 運用観測

Langfuse AssistantのPublic Betaを、既存のSakana Fugu観測データとPublic APIから計算した正解値で検証します。

2026/6/29 AgentOps

PerplexityやChatGPTが検索の代わりになる中、個人ブログをAI Agentからも発見可能にするAIO（AI最適化）の実装。llms.txt、JSON API、MCP Serverの3層設計と、46本規模での採用判断基準。

2026/6/28 設計

生成、評価、フィードバック、再生成を分けた最小ループを検証用スクリプトで実装し、AI出力を安定させるときに見るべき停止条件と評価単位を整理します。

2026/6/24 Sakana Fugu

Sakana FuguのOpenAI互換APIをLangfuseで計装し、Level 1〜3のタスクでレイテンシ、消費トークン、TTFTがどう変化するかを観測した実践レポート。

2026/6/23 Sakana Fugu

Sakana Fuguをサブスク契約して分かったOpenAI互換APIとしての性質と、ブラックボックスな協調推論を外側から観測するための検証計画。

2026/6/22 Flue

Flue 1.0 BetaのobserveイベントをredactionしたうえでLangfuseへ送信し、IssueトリアージWorkflowのrunId、モデル、結果を追う実験ログ。

2026/6/10 AgentOps

LangfuseのMonitors機能を、自前で作ったSlack朝ブリーフィングWorkerの実験ログと比較し、どこまで公式機能に寄せるべきかを整理します。