 | Built a single chatbot HTML page using Gemma 4 26B A4B running locally sharded between my 7900 XT and 3060 Ti with 32K context window at 50-65 t/s. Connects to LM Studio's API with full streaming, Markdown rendering, model selector, 6 parameter sliders, message editing with history branching, regenerate, abort, and system prompt support. Claude helped fix two DOM bugs that Gemma couldn't. Everything else was Gemma 4. GitHub: https://github.com/Shoggoth43/Gemma-4-26B-A4B-Generations [link] [comments] |
Gemma 4 26B A4B Single Page ASCII Chatbot Design
Reddit r/LocalLLaMA / 4/5/2026
💬 OpinionDeveloper Stack & InfrastructureSignals & Early TrendsTools & Practical UsageModels & Research
Key Points
- Gemma 4 26B A4B をローカルで動かし、7900 XT と 3060 Ti にシャーディングして単一HTMLページのチャットボットを構築したと報告されています。
- LM Studio のAPIに接続し、ストリーミング、Markdownレンダリング、モデル選択、複数のパラメータスライダーを備えているとされています。
- 履歴を分岐できるメッセージ編集、再生成、実行中断、システムプロンプト指定などの操作性を実装している点が特徴です。
- Claudeの支援でDOM上のバグを修正し、それ以外の実装はGemma 4が担ったと述べられています。
- GitHubに実装（「Gemma-4-26B-A4B-Generations」）が公開されています。
💡 Insights using this article
This article is featured in our daily AI news digest — key takeaways and action items at a glance.
Related Articles
Black Hat USA
AI Business
Black Hat Asia
AI Business
Who is Xu Rui, the ex-ByteDance executive tapped by Meta to lead AI hardware?
SCMP Tech
I Built a Voice AI with Sub-500ms Latency. Here's the Echo Cancellation Problem Nobody Talks About
Dev.to
How I Found $1,240/Month in Wasted LLM API Costs (And Built a Tool to Find Yours)
Dev.to
