LLMOps、AI、MCP、AG-UI、Langfuse などの実験ログ。https://llm-lab.dev/https://llm-lab.dev/posts/aidd-self-compaction-resume-check/https://llm-lab.dev/posts/aidd-self-compaction-resume-check/CognitionのSWE-1.7記事をきっかけに、長時間化するAI駆動開発で作業を再開できるメモには何が必要かを、外部APIに依存しない検証スクリプトで確認しました。Fri, 10 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/langfuse-clickhouse-trace-analytics/https://llm-lab.dev/posts/langfuse-clickhouse-trace-analytics/LangfuseのObservationとScoreをClickHouseへ正規化し、モデル別コスト、prompt version別の品質推移、再試行によるコスト増をSQLで確認する検証ログ。Tue, 07 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/cloudflare-pages-workers-ai-gateway-chatbot/https://llm-lab.dev/posts/cloudflare-pages-workers-ai-gateway-chatbot/Cloudflare Pagesの静的UI、Pages Function、Workers AI binding、AI Gatewayを組み合わせ、ブラウザにAPIキーを出さないAIチャットBotの最小構成を検証する。Sun, 05 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/llm-loop-engineering-langfuse-observability/https://llm-lab.dev/posts/llm-loop-engineering-langfuse-observability/生成、評価、フィードバック、再生成のループをLangfuseへ送り、最終結果だけでなく試行ごとの改善経路を追えるかを検証します。Sun, 05 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/cloudflare-ai-gateway-patch-log-feedback-loop/https://llm-lab.dev/posts/cloudflare-ai-gateway-patch-log-feedback-loop/AI Gatewayのログにfeedback、score、metadataを後付けし、LLMのリクエストログを改善対象の評価データへ変えるための小さな検証メモ。Sat, 04 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/flue-skill-structured-output-comparison/https://llm-lab.dev/posts/flue-skill-structured-output-comparison/Flue 1.0 BetaのIssueトリアージAgentで、通常の指示とSkillの明示実行を同じ入力で比べ、finish到達、schema検証、分類品質を分けて確認した検証メモ。Fri, 03 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/vercel-eve-eval-langfuse-dataset/https://llm-lab.dev/posts/vercel-eve-eval-langfuse-dataset/Eveの評価で一度落ちた天気ツールの失敗ログをLangfuse Datasetに登録し、失敗runと修正後runを比較しながら評価条件を改善する検証ログ。Thu, 02 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/llm-loop-engineering-rubric-eval/https://llm-lab.dev/posts/llm-loop-engineering-rubric-eval/LLMの出力改善ループで、評価基準が粗いままだと弱い出力が合格してしまう問題を、外部APIに依存しない検証スクリプトで確認します。ルーブリックを運用しながら育てるための判断軸を整理しました。Wed, 01 Jul 2026 00:00:00 GMThttps://llm-lab.dev/posts/langfuse-assistant-public-beta-verification/https://llm-lab.dev/posts/langfuse-assistant-public-beta-verification/Langfuse AssistantのPublic Betaを、既存のSakana Fugu観測データとPublic APIから計算した正解値で検証します。Tue, 30 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/blog-aio-llms-mcp/https://llm-lab.dev/posts/blog-aio-llms-mcp/PerplexityやChatGPTが検索の代わりになる中、個人ブログをAI Agentからも発見可能にするAIO（AI最適化）の実装。llms.txt、JSON API、MCP Serverの3層設計と、46本規模での採用判断基準。Mon, 29 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/llm-loop-engineering-minimal-api/https://llm-lab.dev/posts/llm-loop-engineering-minimal-api/生成、評価、フィードバック、再生成を分けた最小ループを検証用スクリプトで実装し、AI出力を安定させるときに見るべき停止条件と評価単位を整理します。Sun, 28 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/flue-openai-compatible-provider-note/https://llm-lab.dev/posts/flue-openai-compatible-provider-note/Flue 1.0 BetaでOpenAI互換APIを使う際に、実モデルIDとFlueのprovider-id/model-id形式を混同してUnknown model specifierで止まった検証メモ。Sat, 27 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/hermes-agent-002-support-triage-scenarios/https://llm-lab.dev/posts/hermes-agent-002-support-triage-scenarios/Hermes Agentにサポートトリアージを任せる前段階として、実データを使わずに評価可能な3本の合成シナリオを作り、判断根拠と安全制約を先に固定する。Thu, 25 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/sakana-fugu-langfuse-experiment/https://llm-lab.dev/posts/sakana-fugu-langfuse-experiment/Sakana FuguのOpenAI互換APIをLangfuseで計装し、Level 1〜3のタスクでレイテンシ、消費トークン、TTFTがどう変化するかを観測した実践レポート。Wed, 24 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/sakana-fugu-langfuse-observability-plan/https://llm-lab.dev/posts/sakana-fugu-langfuse-observability-plan/Sakana Fuguをサブスク契約して分かったOpenAI互換APIとしての性質と、ブラックボックスな協調推論を外側から観測するための検証計画。Tue, 23 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/vercel-eve-http-stream-events/https://llm-lab.dev/posts/vercel-eve-http-stream-events/VercelのエージェントフレームワークEveで同じ天気ツール呼び出しをTUIとHTTP APIから観測し、開発者向け表示と外部連携向けイベント列の違いを整理した検証ログ。Tue, 23 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/flue-langfuse-observability-issue-triage/https://llm-lab.dev/posts/flue-langfuse-observability-issue-triage/Flue 1.0 BetaのobserveイベントをredactionしたうえでLangfuseへ送信し、IssueトリアージWorkflowのrunId、モデル、結果を追う実験ログ。Mon, 22 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/vercel-eve-langfuse-observability/https://llm-lab.dev/posts/vercel-eve-langfuse-observability/Vercelのエージェントフレームワークeveで動かしたtool calling実行を、Langfuseへtrace/span/generationとして送る方法を2パターン試して比較したログ。Sun, 21 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/flue-github-actions-issue-triage-workflow/https://llm-lab.dev/posts/flue-github-actions-issue-triage-workflow/Flue 1.0 Betaで作ったGitHub IssueトリアージWorkflowを、webhook常駐サーバーではなくGitHub Actionsのissues.openedからdry-run実行する検証ログ。Sat, 20 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/vercel-eve-deep-dive/https://llm-lab.dev/posts/vercel-eve-deep-dive/前回の軽い検証の続きとして、Eveにツールとevalを足し、Vercel AI Gateway経由のモデル設定、TUIでのツール呼び出し、infoやevalまわりを確認した実装ログ。Sat, 20 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/flue-1-0-beta-issue-triage-agent/https://llm-lab.dev/posts/flue-1-0-beta-issue-triage-agent/Flue 1.0 BetaのAgent・Skill・Workflowを使い、GitHub Issueのseverity、再現可否、ラベル候補を構造化して返すトリアージエージェントを作った検証ログ。Fri, 19 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/vercel-eve-first-look/https://llm-lab.dev/posts/vercel-eve-first-look/Vercelが公開したオープンソースのエージェントフレームワークEveを、init・dev起動・最初のセッションまでローカルで動かしてみた軽い検証ログ。Fri, 19 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/cloudflare-worker-ai-glm-5-2/https://llm-lab.dev/posts/cloudflare-worker-ai-glm-5-2/Cloudflare Workers AIでGLM-5.2を呼び出すためのモデルID、料金、コンテキスト長、Wrangler設定、TypeScript実装を整理した技術メモ。Thu, 18 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/eve-vercel-agent-framework-survey/https://llm-lab.dev/posts/eve-vercel-agent-framework-survey/Vercelが出したAIエージェントフレームワークeveについて、ディレクトリ設計、Tool/Skillの違い、サンドボックス、耐久性実行などを実装前に調べた内容の整理。Thu, 18 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/flue-1-0-beta-local-check/https://llm-lab.dev/posts/flue-1-0-beta-local-check/AstroチームのエージェントフレームワークFlue 1.0 Betaを手元で動かし、init・build・runまでの挙動とハマりどころを記録した実装検証メモ。Thu, 18 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/flue-framework-overview/https://llm-lab.dev/posts/flue-framework-overview/Flue 1.0 Betaを手元で触る前段として、Harness-first、Agent、Workflow、Skill、Tool、Sandbox、永続化まわりの考え方をざっくり整理したメモ。Thu, 18 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/cloudflare-pages-deploy-script-note/https://llm-lab.dev/posts/cloudflare-pages-deploy-script-note/Cloudflare Pagesへの再デプロイでwranglerコマンドを毎回思い出さなくてよいように、package.jsonへdeploy系scriptを追加した短い運用メモ。Wed, 17 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/hermes-agent-001-support-triage-agent-start/https://llm-lab.dev/posts/hermes-agent-001-support-triage-agent-start/Hermes Agentを、ビジネスで使える支援エージェントとして育てる検証Sun, 14 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/clickhouse-001-claude-mcp/https://llm-lab.dev/posts/clickhouse-001-claude-mcp/ClickHouse MCPを利用して、Claude DesktopからClickHouseを自然言語で操作する環境を構築します。Fri, 12 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/local-site-admin-kv-note/https://llm-lab.dev/posts/local-site-admin-kv-note/駐車場サイトの空き状況や電話番号のような頻繁に変わる公開値を、環境変数ではなくCloudflare KVとAdmin画面で扱った短い設計メモ。Thu, 11 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/langfuse-monitors-morning-briefing-followup/https://llm-lab.dev/posts/langfuse-monitors-morning-briefing-followup/LangfuseのMonitors機能を、自前で作ったSlack朝ブリーフィングWorkerの実験ログと比較し、どこまで公式機能に寄せるべきかを整理します。Wed, 10 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/langfuse-morning-briefing-trial/https://llm-lab.dev/posts/langfuse-morning-briefing-trial/Langfuseのtrace、token、cost、latencyをCloudflare Workers Cronで集計し、見るべき異常だけをSlackへ流す実装検証。Mon, 08 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/langfuse-morning-briefing/https://llm-lab.dev/posts/langfuse-morning-briefing/Traceを毎日見に行く運用は続かない。Langfuseの失敗、トークン急増、低評価出力だけをSlackへ集約する個人GenAIOpsの構想メモ。Sat, 06 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/llm-loop-engineering-first-step/https://llm-lab.dev/posts/llm-loop-engineering-first-step/プロンプトの工夫だけでは出力がブレ続ける問題に対して、生成、評価、フィードバック、再生成のループで対処する考え方を整理しました。手動で始める最小ステップも書いています。Wed, 03 Jun 2026 00:00:00 GMThttps://llm-lab.dev/posts/cloudflare-ai-gateway-llm-request-response-logging/https://llm-lab.dev/posts/cloudflare-ai-gateway-llm-request-response-logging/Cloudflare AI GatewayをOpenAI互換エンドポイントとして利用し、基本ログ、payload保存制御、メタデータ、コスト推定、OTel連携まで含めてLLM観測の入口として使えるかを整理する。Sat, 16 May 2026 00:00:00 GMThttps://llm-lab.dev/posts/cloudflare-ai-gateway-introduction/https://llm-lab.dev/posts/cloudflare-ai-gateway-introduction/Cloudflare AI GatewayをWorkers AIから使い始めるための最小手順と、OpenAI互換APIへ進む前に理解しておきたい役割、設定、確認ポイントを整理する。Fri, 15 May 2026 00:00:00 GMThttps://llm-lab.dev/posts/aidd-after-code-generation-design/https://llm-lab.dev/posts/aidd-after-code-generation-design/Claude CodeやCodexでコード生成が速くなるほど、エンジニアが設計すべき対象はコードそのものから、課題、制約、運用、検証へ広がるという話です。Sun, 03 May 2026 00:00:00 GMThttps://llm-lab.dev/posts/work-log-to-blog-note/https://llm-lab.dev/posts/work-log-to-blog-note/Codexの作業ログに残った詰まりや判断を、短いブログメモへ変換するときの考え方をまとめた運用メモ。Fri, 01 May 2026 00:00:00 GMThttps://llm-lab.dev/posts/aidd-standardization-repeat-work/https://llm-lab.dev/posts/aidd-standardization-repeat-work/個人のAI活用テクニックをプロンプトのまま終わらせず、標準コマンド、テンプレート、レビュー観点へ落として組織知にする考え方を整理しました。Mon, 27 Apr 2026 00:00:00 GMThttps://llm-lab.dev/posts/generative-ui-fast-development-openui/https://llm-lab.dev/posts/generative-ui-fast-development-openui/Generative UIを一から実装するとコンポーネントの管理やストリーミングの制御がめちゃくちゃ面倒なのだが、それを綺麗に共通化・隠蔽してくれるフレームワーク「OpenUI」Tue, 21 Apr 2026 00:00:00 GMThttps://llm-lab.dev/posts/astro-thumbnail-contain-note/https://llm-lab.dev/posts/astro-thumbnail-contain-note/記事カードの画像をobject-containで見切れないようにしたあと、余白の背景色が目立ちすぎたため、白系の面と薄い境界線に戻した短いUI調整メモ。Fri, 17 Apr 2026 00:00:00 GMThttps://llm-lab.dev/posts/cloudflare-pages-static-site-deploy/https://llm-lab.dev/posts/cloudflare-pages-static-site-deploy/Next.jsで作った静的サイト「戦略の系譜」をCloudflare Pagesへデプロイし、ローカル確認、ビルド、wrangler設定、Productionデプロイ、独自ドメイン公開までを確認した実験ログ。Sat, 11 Apr 2026 00:00:00 GMThttps://llm-lab.dev/posts/generative-ui-correct-json-output/https://llm-lab.dev/posts/generative-ui-correct-json-output/LLMから狙い通りの構造化データを最も打率高く（確実かつ低レイテンシで）抽出するためのアプローチとTipsを整理してメモしておきます。Sun, 18 Jan 2026 00:00:00 GMThttps://llm-lab.dev/posts/agentops-old-automation-note/https://llm-lab.dev/posts/agentops-old-automation-note/バッチ、通知Bot、管理画面、手順書更新の失敗から、AIエージェント運用に引き継がれる論点を整理したメモ。Thu, 23 Oct 2025 00:00:00 GMThttps://llm-lab.dev/posts/rename-blog-tsurezure-agentops/https://llm-lab.dev/posts/rename-blog-tsurezure-agentops/以前のブログ名から、運用、自動化、AIエージェントの話を扱う場所として「つれづれなる Agent OPS」に変えた理由のメモ。Mon, 18 Aug 2025 00:00:00 GMThttps://llm-lab.dev/posts/can-ai-do-this-check-note/https://llm-lab.dev/posts/can-ai-do-this-check-note/AIで処理できるかを、モデル性能ではなく、入力の揺れ、失敗時の影響、人間確認のコストから考えるメモ。Thu, 12 Jun 2025 00:00:00 GMThttps://llm-lab.dev/posts/success-log-not-enough-note/https://llm-lab.dev/posts/success-log-not-enough-note/正常終了のログだけでは、失敗時の判断や復旧手順を改善できないことについての短いログ設計メモ。Tue, 04 Mar 2025 00:00:00 GMThttps://llm-lab.dev/posts/manual-decision-before-agent-note/https://llm-lab.dev/posts/manual-decision-before-agent-note/AIエージェント化を考える前に、担当者が何を見て判断しているのかを棚卸しする必要があるというメモ。Thu, 16 Jan 2025 00:00:00 GMThttps://llm-lab.dev/posts/admin-audit-log-later-note/https://llm-lab.dev/posts/admin-audit-log-later-note/社内用の小さな管理画面で、誰がいつ何を変えたか分からなくなり、後から調査に困った経験を整理したメモ。Thu, 07 Nov 2024 00:00:00 GMThttps://llm-lab.dev/posts/ai-inquiry-summary-before-note/https://llm-lab.dev/posts/ai-inquiry-summary-before-note/問い合わせメールやSlackスレッドをAIで要約するとき、便利さより先に確認範囲と原文への戻り方を決める必要があるというメモ。Wed, 18 Sep 2024 00:00:00 GMThttps://llm-lab.dev/posts/gitlab-duo-release/https://llm-lab.dev/posts/gitlab-duo-release/GitLabから開発者にとって見逃せない大きな発表がありました。これまで有料プラン（UltimateやPremium）の限定機能、あるいは追加のアドオンライセンスが必要だったAI支援機能「GitLab Duo」が、無料プランを含むすべてのGitLabユーザーにデフォルトで提供されることになりますThu, 22 Aug 2024 00:00:00 GMThttps://llm-lab.dev/posts/docs-are-not-updated-note/https://llm-lab.dev/posts/docs-are-not-updated-note/手順書が現場で信頼されなくなる理由を、読まれないことではなく、運用差分が反映されないこととして整理したメモ。Tue, 02 Jul 2024 00:00:00 GMThttps://llm-lab.dev/posts/notification-bot-owner-note/https://llm-lab.dev/posts/notification-bot-owner-note/小さな通知Botが便利になるほど、出力の正しさや誤通知時の責任が曖昧になっていくことについてのメモ。Tue, 14 May 2024 00:00:00 GMThttps://llm-lab.dev/posts/csv-import-exception-note/https://llm-lab.dev/posts/csv-import-exception-note/列ズレ、文字コード、月末だけの例外など、CSV取込で起きる小さなズレが運用手順から外れていくことについてのメモ。Thu, 21 Mar 2024 00:00:00 GMThttps://llm-lab.dev/posts/react-remotioni-movie-test/https://llm-lab.dev/posts/react-remotioni-movie-test/Webフロントエンドの資産、特にReactとTypeScriptの強力なエコシステムをそのまま動画制作に持ち込める点が、非常に面白いアプローチだと感じたので要点をメモしておきます。Wed, 14 Feb 2024 00:00:00 GMThttps://llm-lab.dev/posts/nightly-batch-alert-agentops-note/https://llm-lab.dev/posts/nightly-batch-alert-agentops-note/夜間バッチの失敗通知を、単なるアラートではなく、検知、判断、再実行、人への引き渡しに分けて考えた短い運用メモ。Thu, 08 Feb 2024 00:00:00 GMThttps://llm-lab.dev/posts/start-blog-self-introduction/https://llm-lab.dev/posts/start-blog-self-introduction/業務システムの保守や小さな自動化をしてきたエンジニアが、運用で詰まったことや技術メモを残していくための最初の記事。Fri, 12 Jan 2024 00:00:00 GMT