transformer!! ~BERT編~
Qiita / 3/21/2026
💬 OpinionModels & Research
Key Points
- BERTはtransformerのencoderをベースとしたアーキテクチャで、分類タスクに強い特徴を持つ。
- Cross Encoderは文章を連結して文脈を跨ぐ情報を捉える。
- 入力形式の例として [CLS]文章A[SEP]文章B[SEP] の組み合わせが説明されている。
- 本記事は初心者向けの解説で、概念の紹介が中心で実装の詳細は最小限。
BERTは、transformerのencoderをベースにしたアーキテクチャです
encoderベースのため、分類タスクに強いという特徴を持ちます
Cross Encoder
以下のように文章を連結させることで、文をまたいだ文脈を捉えるができます
[CLS]文章A[SE...
Continue reading this article on the original site.
Read original →Related Articles
Self-Refining Agents in Spec-Driven Development
Dev.to
has anyone tried this? Flash-MoE: Running a 397B Parameter Model on a Laptop
Reddit r/LocalLLaMA
M2.7 open weights coming in ~2 weeks
Reddit r/LocalLLaMA
MiniMax M2.7 Will Be Open Weights
Reddit r/LocalLLaMA
Best open source coding models for claude code? LB?
Reddit r/LocalLLaMA
