広告

llm-all-models-async 0.1

Simon Willison's Blog / 2026/4/1

📰 ニュースDeveloper Stack & InfrastructureTools & Practical UsageModels & Research

要点

  • リリース「llm-all-models-async 0.1」では、元々は同期実装のみを提供していた LLM プラグインモデルに対して「async(非同期)」版を追加します。
  • 著者は、Datasette の LLM 機能で動作させるために、同期のみのプラグイン(llm-mrchatterbox)を使用することを説明しています。これらの機能は async モデルを必要とします。
  • これを機能させるために、LLM フレームワーク自体の中で追加の async フック機構が必要になり、それは LLM v0.30 で提供されました。
  • このアプローチでは、スレッドプールを使って同期モデル呼び出しを、非同期対応の形で実行します。特に、API のような非同期挙動が必要なシナリオに適用されます。
  • この変更により、非同期のみのコンシューマが想定される場面でも、同期のみのモデルプラグインを利用できるようになり、プラグインエコシステム間の互換性が拡張されます。
スポンサー: WorkOS — エンタープライズ顧客へ販売する準備はできていますか?WorkOSで安全に構築して提供しましょう。

2026年3月31日

リリース llm-all-models-async 0.1 — シンク版のみを提供するLLMプラグインのモデルに、非同期版を登録

LLMプラグインは、新しいモデルをsync版とasync版の両方で定義できます。APIバックのモデルでは非同期版が最も一般的です。同期版は、プラグイン内でモデルを直接実行するものが多い傾向があります。

私のllm-mrchatterboxプラグインは同期(sync)版のみです。さまざまなDatasette LLM機能(特にdatasette-enrichments-llm)で試してみたかったのですが、Datasetteは非同期(async)モデルしか使えません。

そこで……Claudeに、このプラグインを立ち上げてもらい、スレッドプールを使って同期モデルを非同期モデルに変換しました。すると、最終的にLLM本体側で追加のプラグックフック機構が必要になりました。それをLLM 0.30として、いま出しました。

2026年3月31日 20:52に投稿

これはSimon Willisonによるbeatで、2026年3月31日に投稿されました。

async 48 python 1240 llm 574

月次ブリーフィング

$10/月でスポンサーになって、今月の最も重要なLLMの動向を厳選したメールのダイジェストを受け取ってください。

僕からあなたに送る量を減らすために、払ってください!

スポンサー&購読

広告