SWE-1.7の自己圧縮から考えるAIDDの再開メモ設計
CognitionのSWE-1.7記事をきっかけに、長時間化するAI駆動開発で作業を再開できるメモには何が必要かを、外部APIに依存しない検証スクリプトで確認しました。
つれづれなる Agent OPS
試したこと、失敗したこと、うまくいったこと。
その時々の考えと一緒に記録する技術ノート。
その時々の考えと一緒に記録する技術ノート。
Topics
すべて見る aidd agent devin cognition eval clickhouse langfuse llmops observability agentops cloudflare cloudflare-pages workers-ai ai-gateway chatbot loop-engineering feedback-loop flue skill structured-output vercel eve mcp llms-txt seo astro openai-compatible-api provider hermes-agent synthetic-data support-triage sakana-ai fugu tool-calling github-actions workflow ci typescript glm llm sandbox wrangler npm mdx Clickhouse MCP Claude kv admin static-site slack genaiops cloudflare-workers openai claude-code codex dev-workflow blog work-log writing standardization generative-ui openui tailwind ui nextjs structured-outputs json prompt-engineering automation operations ai logging audit-log summary gitlab gitlab-duo documentation bot csv react remotion batch
LangfuseのLLMトレースをClickHouseで長期分析する
LangfuseのObservationとScoreをClickHouseへ正規化し、モデル別コスト、prompt version別の品質推移、再試行によるコスト増をSQLで確認する検証ログ。
Cloudflare PagesとWorkersとAI GatewayでAIチャットBotの土台を作る
Cloudflare Pagesの静的UI、Pages Function、Workers AI binding、AI Gatewayを組み合わせ、ブラウザにAPIキーを出さないAIチャットBotの最小構成を検証する。
Cloudflare AI GatewayのpatchLogでLLMの評価ログを育てる
AI Gatewayのログにfeedback、score、metadataを後付けし、LLMのリクエストログを改善対象の評価データへ変えるための小さな検証メモ。
FlueのAgentはどこで失敗するのか Skill実行と構造化出力を切り分ける
Flue 1.0 BetaのIssueトリアージAgentで、通常の指示とSkillの明示実行を同じ入力で比べ、finish到達、schema検証、分類品質を分けて確認した検証メモ。
Eveのeval失敗ログをLangfuse Datasetに残して評価条件を改善する
Eveの評価で一度落ちた天気ツールの失敗ログをLangfuse Datasetに登録し、失敗runと修正後runを比較しながら評価条件を改善する検証ログ。
ルーブリックとEvalは最初から正しく作れないので、失敗ログで育てる
LLMの出力改善ループで、評価基準が粗いままだと弱い出力が合格してしまう問題を、外部APIに依存しない検証スクリプトで確認します。ルーブリックを運用しながら育てるための判断軸を整理しました。