MLOpsを用いた適応型NERシステムの構築（本番）

"walmart grocery shopping"
"cvs pharmacy prescription pickup"  
"uber ride to downtown"
"payment to acme corp inv-2024-001"

# models/keyword_rules.yaml
categories:
  Healthcare:
    keywords: [pharmacy, doctor, hospital, medical]
    weight: 1.5

  Groceries:
    keywords: [walmart, grocery, supermarket]
    weight: 1.0

from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_extraction.text import TfidfVectorizer

# 金額に基づく重み付けによる学習
sample_weights = np.log1p(df['amount'].abs())
classifier = RandomForestClassifier(n_estimators=100)
classifier.fit(X, y, sample_weight=sample_weights)

from sklearn.cluster import DBSCAN

# 未知の取引に含まれるパターンを見つける
clustering = DBSCAN(eps=0.3, min_samples=3, metric='cosine')
labels = clustering.fit_predict(X)

返却形式: {"translated": "翻訳されたHTML"}# 発見: 「Insurance」カテゴリ
# 対象: ["geico auto", "state farm policy", "allstate premium"]

├─ Pythonパッケージのインストール:     4m 30s
├─ Rパッケージのインストール:          6m 15s  
├─ テストの実行:                   1m 20s
├─ レポートの生成:             2m 45s
└─ 合計:                       12m 50s

// ダッシュボードがパースしようとした:
timestamp: "20260313_143522"

// しかしJavaScriptのDate()はこれを想定している:
timestamp: "2026-03-13T14:35:22"

# テストは常にこの同じファイルを使用:
tests/fixtures/sample_transactions.csv

# しかし実際のパイプラインは毎日新しいデータを生成していました!

FAILED tests/test_classifier.py::test_groceries_classification
ValueError: 値が足りません (3を期待していたが2でした)

- name: 依存関係をインストール
  run: pip install -r requirements.txt
  # 時間: 毎回約4分

- name: Pythonをセットアップ
  uses: actions/setup-python@v5
  with:
    python-version: '3.9'
    cache: 'pip'  # ← pipの組み込みキャッシュ

- name: Pythonパッケージをキャッシュ
  uses: actions/cache@v4
  with:
    path: ~/.cache/pip
    key: ${{ runner.os }}-pip-v1-${{ hashFiles('requirements.txt') }}
    restore-keys: |
      ${{ runner.os }}-pip-v1-
      ${{ runner.os }}-pip-

- name: Rの依存関係をインストール
  run: |
    install.packages(c("tidyverse", "plotly", "DT", ...))
  # 時間: 約6分

- name: Rパッケージをキャッシュ
  uses: actions/cache@v4
  with:
    path: ${{ env.R_LIBS_USER }}
    key: ${{ runner.os }}-r-v1-${{ hashFiles('DESCRIPTION') }}

- name: Rの依存関係をインストール
  uses: r-lib/actions/setup-r-dependencies@v2
  with:
    packages: |
      any::tidyverse
      any::knitr
      any::rmarkdown

- name: Cache pytest
  uses: actions/cache@v4
  with:
    path: .pytest_cache
    key: ${{ runner.os }}-pytest-v1-${{ hashFiles('tests/**/*.py') }}

- name: Run tests
  run: pytest tests/ -v --cov=src/python

- name: Cache MLflow artifacts
  uses: actions/cache@v4
  with:
    path: mlruns
    key: ${{ runner.os }}-mlflow-v1-${{ github.sha }}
    restore-keys: |
      ${{ runner.os }}-mlflow-v1-

env:
  CACHE_VERSION: v1  # すべてのキャッシュを無効化するためにインクリメントします

key: ${{ runner.os }}-pip-${{ env.CACHE_VERSION }}-${{ hashFiles('requirements.txt') }}

restore-keys: |
  ${{ runner.os }}-pip-v1-
  ${{ runner.os }}-pip-

// 生成していたもの:
{
  "timestamp": "20260313_143522"
}

// JavaScript の Date() が期待していたもの:
{
  "timestamp": "2026-03-13T14:35:22.000Z"
}

# 元の（壊れていた）コード:
timestamp_str = filename.replace('assessment_report_', '').replace('.html', '')
# 結果: "20260313_143522"
reports.append({
    'timestamp': timestamp_str  # ❌ ISO 形式ではありません！
})

new Date("20260313_143522")
// Invalid Date

new Date("2026-03-13T14:35:22")
// Wed Mar 13 2026 14:35:22 GMT+0000 (UTC) ✓

from datetime import datetime

返却形式: {"translated": "翻訳されたHTML"}# ファイル名のタイムスタンプを解析する
timestamp_str = filename.replace(' assessment_report_', '').replace(' .html', '')

try:
    # 書式: YYYYMMDD_HHMMSS
    dt = datetime.strptime(timestamp_str, '%Y%m%d_%H%M%S')

    # ISO 8601 形式に変換する
    iso_timestamp = dt.isoformat()  # "2026-03-13T14:35:22"
except:
    # 解析に失敗した場合は現在時刻にフォールバックする
    iso_timestamp = datetime.now().isoformat()

reports.append({
    ' id': timestamp_str,
    ' timestamp': iso_timestamp,  # ✓ ISO 形式
    ' url': f' reports/{timestamp_str}/{report_file.name}'
})

┌──────────┐
│ 無効な  │
│   日付   │
└──────────┘

┌──────────┐
│  3月13日 │
│   2026   │
└──────────┘

const date = new Date(report.timestamp);

// 表示用の書式
const formattedDate = date.toLocaleString('en-US', {
  year: 'numeric',
  month: 'long',
  day: 'numeric',
  hour: '2-digit',
  minute: '2-digit'
});
// "2026年3月13日 14:35"（※環境により表記が変わる可能性があります）


// ステータスカード用の書式
const shortDate = date.toLocaleDateString('en-US', {
  month: 'short',
  day: 'numeric'
});
// "3月13日"

# 旧ワークフロー
- name: モデルを学習する
  run: python src/python/train_model.py data/sample_transactions.csv
  #                                      ↑ リポジトリからの静的ファイル

jobs:
  # ジョブ 1: 新しいデータを生成する
  generate-data:
    runs-on: ubuntu-latest
    outputs:
      data_file: ${{ steps.generate.outputs.data_file }}
      timestamp: ${{ steps.generate.outputs.timestamp }}

返却形式: {"translated": "翻訳されたHTML"}steps:
      - name: 合成取引データを生成する
        id: generate
        run: |
          TIMESTAMP=$(date +%Y%m%d_%H%M%S)
          DATA_SIZE=${{ github.event.inputs.data_size || '1000' }}
          DATA_FILE="data/transactions_${TIMESTAMP}.csv"

          python scripts/generate_sample_data.py \
            --size ${DATA_SIZE} \
            --output ${DATA_FILE}

          # 次のジョブに渡す
          echo "data_file=${DATA_FILE}" >> $GITHUB_OUTPUT
          echo "timestamp=${TIMESTAMP}" >> $GITHUB_OUTPUT

- name: データのアーティファクトをアップロードする
  uses: actions/upload-artifact@v4
  with:
    name: transaction-data-${{ steps.generate.outputs.timestamp }}
    path: |
      ${{ steps.generate.outputs.data_file }}
      data/*_metadata.json
    retention-days: 7

train-model:
  needs: [generate-data, test]  # データ生成を待つ

  steps:
    - name: 取引データをダウンロードする
      uses: actions/download-artifact@v4
      with:
        name: transaction-data-${{ needs.generate-data.outputs.timestamp }}
        path: data/

    - name: NER（固有表現）分類器をトレーニングする
      run: |
        DATA_FILE="${{ needs.generate-data.outputs.data_file }}"
        python src/python/train_model.py ${DATA_FILE}

# 毎日異なるデータ
2026-03-13: 1000 取引（現在のパターン）
2026-03-14: 1000 NEW 取引（NEWパターン）

workflow_dispatch:
  inputs:
    data_size:
      description: '取引の 数'
      default: '1000'

# ジェネレーターが現実的な混在を作成する:
{
  '食料品': 25%,
  'レストラン': 18%,
  '交通': 15%,
  '医療': 10%,
  '不明': 5%,
  # ... など
}

{
  "generated_at": "2026-03-13T14:35:22",
  "n_transactions": 1000,
  "category_distribution": {...},
  "amount_stats": {
    "min": 5.50,
    "max": 1200.00,
    "mean": 87.43
  }
}

class TransactionGenerator:
    def __init__(self, seed=None):
        if seed:
            np.random.seed(seed)

        self.templates = {
            'Groceries': {
                'merchants': ['walmart', 'costco', 'whole foods'],
                'items': ['grocery', 'bread milk eggs', 'produce'],
                'amount_range': (30, 250),
                'frequency': 0.25
            },
            # ... 8 categories total
        }

    def generate_narration(self, category):
        merchant = np.random.choice(self.templates[category]['merchants'])
        item = np.random.choice(self.templates[category]['items'])

        # 異なるパターン
        patterns = [
            f"{merchant} {item}",
            f" {item} を {merchant}で購入
",
            f"{item} を {merchant}で
"
        ]

        narration = np.random.choice(patterns)

        # ときどき参照番号を追加
        if np.random.random() > 0.7:
            ref = np.random.randint(1000, 9999)
            narration += f" ref#{ref}"

        return narration

walmart grocery ショッピング ref#4521
cvs 調剤薬局で購入
uber 乗車 ダウンタウン
starbucksでコーヒー

# バグ: 'amount' が常に存在すると仮定していた
def classify(df):
    return df['amount'].abs()  # ❌ amount が欠けていると失敗する

# 修正: 欠けている amount を扱う
def classify(df):
    if 'amount'not in df.columns:
        df['amount'] = 0
    return df['amount'].abs()  # ✓ 動作する

           /\
          /  \
         /E2E \          3 tests (5%)
        /______\
       /        \
      /Integration\      7 tests (28%)
     /____________\
    /              \
   /  Unit Tests    \    15 tests (60%)
  /__________________\

# tests/test_classifier.py
class TestKeywordMatching:
    def test_healthcare_classification(self, classifier):
        """医療取引の分類をテストする。"""
        category, confidence = classifier.keyword_match(
            "cvs pharmacy prescription pickup"
        )

        assert category == "Healthcare"
        assert confidence > 0.3

# tests/test_pipeline.py
def test_full_pipeline(tmp_path):
    """完全なパイプラインの実行をテストする。"""
    # データを生成
    generator = TransactionGenerator(seed=42)
    df = generator.generate_transactions(100)

    # 分類する
    classifier = AdaptiveNERClassifier()
    results = classifier.classify_batch(df)

    # 確認する
    assert len(results) >= 100
    unknown_rate = (results['category'] == 'Unknown').sum() / len(results)
    assert unknown_rate < 0.9  # 不明が 90% 未満

def test_github_actions_simulation():
    """GitHub Actions のワークフロー全体をシミュレートする。"""
    # ステップ 1: データを生成
    subprocess.run([
        'python', 'scripts/generate_sample_data.py',
        '--size', '100',
        '--output', 'data/test.csv'
    ])

# tests/conftest.py
@pytest.fixture
def classifier():
    """再利用可能な分類器インスタンス。"""
    return AdaptiveNERClassifier(rules_path="models/keyword_rules.yaml")

@pytest.fixture
def sample_transactions():
    """再利用可能なサンプルデータ。"""
    return pd.DataFrame({
        'narration': [
            'cvs pharmacy prescription',
            'walmart grocery shopping',
            'uber ride downtown'
        ],
        'amount': [45.00, 125.50, 28.00]
    })

# 不安定なテスト（良くない）
def test_generate_transactions():
    df = generator.generate_transactions(100)
    assert len(df) == 100  # ❌ 不明なデータのせいで105になることがある

# 堅牢なテスト（良い）
def test_generate_transactions():
    df = generator.generate_transactions(100)
    assert 100 <= len(df) <= 110  # ✓ 不明なデータが約5%あることを考慮

pytest tests/ --cov=src/python --cov-report=term

Name                              Stmts   Miss  Cover
-----------------------------------------------------
src/python/ner_classifier.py        145     12    92%
src/python/train_model.py           89      8    91%
src/python/category_discovery.py    76     15    80%
-----------------------------------------------------
TOTAL                               310     35    87%

- name: Upload coverage
  uses: codecov/codecov-action@v3
  with:
    file: ./coverage.xml

┌─────────────────────────────────────────────────────────┐
│                    GitHub Actions                       │
│                   （トリガー: 毎日 午前2時）                │
└────────────┬────────────────────────────────────────────┘
             │
             ▼
┌─────────────────────────────────────────────────────────┐
│  ジョブ1: データ生成（15秒）                          │
│  ┌──────────────────────────────────────────┐           │
│  │ Python: generate_sample_data.py          │           │
│  │ 出力: transactions_20260313_143522.csv │           │
│  │ メタデータ: カテゴリ分布、統計   │           │
│  └──────────────────────────────────────────┘           │
└────────────┬────────────────────────────────────────────┘
             │ アーティファクトのアップロード
             ▼
┌─────────────────────────────────────────────────────────┐
│  ジョブ2: テストの実行（30秒 - キャッシュ済み）         │
│  ┌──────────────────────────────────────────┐           │
│  │ pytest tests/ --cov=src/python           │           │
│  │ カバレッジ: 87%                            │           │
│  │ Codecovへアップロード                        │           │
│  └──────────────────────────────────────────┘           │
└────────────┬────────────────────────────────────────────┘
             │ テスト成功 ✓
             ▼
┌─────────────────────────────────────────────────────────┐
│  ジョブ3: モデルの学習（2分 - キャッシュ済み）           │
│  ┌──────────────────────────────────────────┐           │
│  │ ルールベース分類（68.5%）        │           │
│  │ ↓                                        │           │
│  │ 機械学習による強化（+22.7%）      │           │
│  │ ↓                                        │           │
│  │ カテゴリ発見（新しいクラスタ4件）     │           │
│  │ ↓                                        │           │
│  │ MLflow ロギング（メトリクス、モデル、アーティファクト）│          │
│  └──────────────────────────────────────────┘           │
└────────────┬────────────────────────────────────────────┘
             │ アーティファクトのアップロード
             ▼
┌─────────────────────────────────────────────────────────┐
│  ジョブ4: レポートの生成（90秒 - キャッシュ済み）         │
│  ┌──────────────────────────────────────────┐           │
│  │ R Markdown レンダリング                     │           │
│  │ ├─ classified_transactions.csv を読み込み     │            │ 
│  │ ├─ 統計を計算                 │            │
│  │ ├─ インタラクティブなグラフを12個作成       │            │
│  │ ├─ 推奨事項を生成             │            │
│  │ └─ 出力: assessment_report.html       │            │
│  └──────────────────────────────────────────┘           │
└────────────┬────────────────────────────────────────────┘
             │ アーティファクトのアップロード
             ▼
┌─────────────────────────────────────────────────────────┐
│  ジョブ5: GitHub Pages へデプロイ（30秒）           │
│  ┌──────────────────────────────────────────┐           │
│  │ ダッシュボードの index.html を作成              │           │
│  │ レポートのマニフェスト manifest.json を生成       │           │
│  │ gh-pages ブランチへプッシュ                  │           │
│  │ ↓                                        │           │
│  │ 公開先: https://username.github.io/repo/│           │
│  └──────────────────────────────────────────┘           │
└────────────┬────────────────────────────────────────────┘
             │
             ▼
┌─────────────────────────────────────────────────────────┐
│  ジョブ6: 通知（5秒）                              │
│  ┌──────────────────────────────────────────┐           │
│  │ 全ジョブのステータスを確認                   │           │
│  │ レポートへのリンクをコミットへコメント       │           │
│  │ （任意: Slack に通知を送信）      │           │
│  └──────────────────────────────────────────┘           │
└─────────────────────────────────────────────────────────┘

総実行時間: 約5分（12分以上から短縮！）

generate-data        （15秒）
    ↓
    ├──→ test       （30秒） ──┐
    └──→ train      （2分）  ──┤
         ↓                  │
         generate-report（90秒）
         ↓                  │
         deploy-pages   （30秒）
         ↓                  │
         notify         （5秒） ←┘

transactions_20260313_143522.csv
    ↓
[アーティファクトのアップロード]
    ↓
train_model.py
    ↓
classified_transactions.csv
metrics.json
ner_classifier.pkl
    ↓
[アーティファクトのアップロード]
    ↓
assessment_report.Rmd
    ↓
assessment_report_20260313_143522.html
    ↓
[アーティファクトのアップロード]
    ↓
GitHub Pages（gh-pages ブランチ）
    ↓
https://username.github.io/repo/

初回実行（コールドキャッシュ）:
├─ Python パッケージ:    4分30秒  → キャッシュミス → ダウンロード＆キャッシュ
├─ R パッケージ:         6分15秒  → キャッシュミス → ダウンロード＆キャッシュ
├─ Pytest:             30秒     → キャッシュミス → 実行＆キャッシュ
└─ 合計:              12分50秒

2回目以降（ウォームキャッシュ）:
├─ Python パッケージ:    15秒     → キャッシュヒット → 復元
├─ R パッケージ:         20秒     → キャッシュヒット → 復元
├─ Pytest:             5秒      → キャッシュヒット → 復元
└─ 合計:              4分45秒

高速化: 2.7倍！

12.85分 × 30回/月 = 385.5分/月
GitHub Actions: 月あたり 2,000分 無料枠
利用: 割当の 19.3%

4.58分 × 30回/月 = 137.4分/月
GitHub Actions: 月あたり 2,000分 無料枠  
利用: 割当の 6.9%

├─ 取引データ: 500 KB × 30 = 15 MB
├─ モデルアーティファクト:  5 MB × 30 = 150 MB
├─ レポート:          8 MB × 30 = 240 MB
└─ 合計:                       405 MB/月

├─ 取引データ: 100 KB × 30 = 3 MB     （80%削減）
├─ モデルアーティファクト:  2 MB × 30 = 60 MB     （60%削減）
├─ レポート:          3 MB × 30 = 90 MB     （62%削減）
└─ 合計:                       153 MB/月（62%の総削減）

- uses: actions/upload-artifact@v4
  with:
    compression-level: 9  # 最大圧縮
    retention-days: 7     # 30から削減

# 良い例: セマンティックバージョニング
CACHE_VERSION: v1  # 新しいキャッシュが必要になったら更新する

# 良い例: ハッシュベースのキー
key: ${{ hashFiles('requirements.txt') }}

# 悪い例: 時間ベースのキー
key: cache-${{ github.run_number }}  # 一度もヒットしない！

# 良い例
datetime.now().isoformat()  # "2026-03-13T14:35:22.123456"
# 悪い例
datetime.now().strftime('%Y%m%d_%H%M%S')  # "20260313_143522"

# 静的データでは通っていた：
assert df['category'].nunique() == 8

# しかし生成データでは失敗（カテゴリは7つしか存在しない）
# 修正：
assert df['category'].nunique() >= 5  # 少なくとも5カテゴリ

generate → test → train → report → deploy
（すべて逐次、12分）

generate → test ─┐
          ├────→ train → report → deploy
          └────→ [その他のジョブ]
（可能な範囲で並列、5分）

test:
  needs: [generate-data]  # データのためにのみ待つ

train-model:
  needs: [generate-data, test]  # 両方を待つ

AssertionError: assert False

assert category == "Groceries", \
    f"Expected 'Groceries', got '{category}'. " \
    f"Narration: '{text}', Confidence: {confidence}"

# Output:
# AssertionError: Expected 'Groceries', got 'Unknown'. 
# Narration: 'walmart shopping', Confidence: 0.0

- name: Check cache status
  run: |
    if [ "${{ steps.cache.outputs.cache-hit }}" == "true" ]; then
      echo "✓ Cache hit!"
    else
      echo "✗ Cache miss - downloading packages"
    fi

# Before: Everything kept 90 days
retention-days: 90

# After: Tiered retention
- Transaction data: 7 days   # Regenerable
- Model artifacts: 30 days   # Useful for comparison
- Reports: 90 days           # Want history