本番環境でAIエージェントはあなたを欺く――出荷前にそれを見抜く方法

Key decisions:

• needs: regression-tests — デプロイジョブはテストが失敗した場合には開始されません
• OIDCロール想定認証（シークレットに長寿命のキーを置かない）
• lambda wait function-updated — ジョブが完了する前に関数が実際に更新されていることを保証します

Step 4: IAM OIDC Setup for GitHub Actions (No Long-Lived Keys)

GitHub Actions に AWS へのアクセスを与える最もクリーンな方法は OIDC です — リポジトリに限定され、ジョブの後に期限切れになる一時的な認証情報です。

# infra/oidc.tf

data "aws_iam_openid_connect_provider" "github" {
  url = "https://token.actions.githubusercontent.com"
}

resource "aws_iam_role" "github_actions" {
  name = "github-actions-warrantyai"

  assume_role_policy = jsonencode({
    Version = "2012-10-17"
    Statement = [{
      Effect    = "Allow"
      Principal = { Federated = data.aws_iam_openid_connect_provider.github.arn }
      Action    = "sts:AssumeRoleWithWebIdentity"
      Condition = {
        StringLike = {
          "token.actions.githubusercontent.com:sub" = "repo:YOUR_ORG/warrantyai:ref:refs/heads/main"
        }
      }
    }]
  })
}

resource "aws_iam_role_policy" "github_actions_policy" {
  name = "github-actions-policy"
  role = aws_iam_role.github_actions.id

  policy = jsonencode({
    Version = "2012-10-17"
    Statement = [
      {
        Effect   = "Allow"
        Action   = ["ecr:GetAuthorizationToken", "ecr:BatchCheckLayerAvailability",
                    "ecr:PutImage", "ecr:InitiateLayerUpload",
                    "ecr:UploadLayerPart", "ecr:CompleteLayerUpload"]
        Resource = "*"
      },
      {
        Effect   = "Allow"
        Action   = ["lambda:UpdateFunctionCode", "lambda:GetFunction"
        Resource = aws_lambda_function.pipeline_processor.arn
      },
      {
        Effect   = "Allow"
        Action   = ["bedrock:InvokeModel"]
        Resource = "*"
      }
    ]
  })
}

Replace YOUR_ORG/warrantyai with your actual GitHub org and repo name. The StringLike condition locks the role to your main branch only PRs get the regression test job but not deploy permissions.

What This Catches (and What It Doesn't)

検出される内容:

• 知っているエッジケース上で分類挙動を変えるプロンプトの編集
• 出力構造に影響を与えるモデルバージョンの変更
• フィールド抽出を壊す出力パーサの変更
• 実際の作業を行っていた指示の誤って削除

検出されない内容:

• まだ fixtures に追加していない新しいエッジケース
• 遅延のリグレッション（別途遅延ベンチマークを追加してください）
• プロンプト肥大化によるコストリグレッション（トークンのカウントを追加してください）

The fixture set is a living document. Every time a production bug surfaces from a new edge case, add a fixture for it. The test suite gets more valuable over time, not less.

The One Thing Worth Knowing

The first time you run this on an existing project, it will probably fail. Not because your agent is bad — but because you'll discover that your "obvious" classifications aren't as consistent as you thought.

That's the test suite doing its job. Fix the fixtures (or fix the agent), and you now have a baseline. Every future change is measured against that baseline.

That's the whole point.

if you think what its to do with warrantyAI

This is a solution which I am building to learn and implement AI systems.

WarrantyAIの構築: AIプラットフォームエンジニアの2026年のノーススター目標 | Harish Aravindan がこのトピックに投稿 | LinkedIn

🚀 DevOps から MLOps へ: 学習の第1週 / 「Warranty AI」を構築。長年クラウドインフラとDevOpsパイプラインを管理してきた私は、正式にAIプラットフォームエンジニアリングへの移行を開始しました。私の2026年のノーススター目標は、WarrantyAIを構築することです。住宅所有者やオフィス管理者が家電の健康状態を評価し、契約の微細事項を特定し、生成AIを用いて修理費用を最適化する生産グレードの「保証対応」システムです。第1週の学習: なぜAIプラットフォームエンジニアか。AIプラットフォームエンジニアは単に「プロンプトを書く」だけではありません。AIモデルが現実世界のデータと安全かつ効率的に相互作用できる、拡張性のある「配管」を構築します。私の12か月のロードマップは以下に焦点を当てます：MLOps: モデルのライフサイクル（トレーニング、デプロイ、モニタリング）を自動化する。意味論的アーキテクチャ: AIに“長期記憶”を与えるベクトルデータベースの活用。クラウドネイティブAI: BedrockやS3 LakehousesなどAWSのリソースを活用して、コスト効率の高いスケールを実現。第1週の学習: 「ブラックボックス」を打破。今週は Retrieval-Augmented Generation（RAG）に焦点を当てました。AIに一般的な保証がどう見えるかを尋ねるだけではなく、5ページの LG 冷蔵庫保証PDFを渡し、隠れたコストを見つけるよう依頼しました。GitHub Repo: https://lnkd.in/g-hkGJ6M. コアコンセプト: 埋め込み（「翻訳者」）: Amazon Titan Text Embeddings v2 を使用して、人間のテキストを数学的ベクトルに変換します。ベクトルインデックス（「ライブラリ」）: FAISS を実装して、AI がキーワードではなく“意味”で検索できるようにします。メッセージAPI（「会話」）: 従来の文字列ベースのプロンプトから、Ministral-3-8b のようなモデルが要求する現代的で構造化されたメッセージ形式へ移行します。結論と今後のステップ: 第1週で、AIエンジニアリングは20%のプロンプトと80%のデータエンジニアリングとインフラで成り立つと教えられました。ネイティブAPIとベクトルロジックを習得することで、単なる「おしゃべり」ではなく、正確さを備えた基盤を築きました。来週: これらのベクトルを Apache Iceberg を使って永続的な S3 Lakehouse に移行し、データを整理してクエリ可能な状態を維持しつつ、数百台の家電へとスケールさせていきます。#MLOps #AWSBedrock #AIPlatformEngineer #WarrantyAI #GenerativeAI #DevOpsToAI #ApacheIceberg https://lnkd.in/g-hkGJ6M

linkedin.com