予測問題における Transformer [D]

皆さん、こんにちは。私は現在の問題へのアイデアを探すためにここに投稿しています。今後4日間で何かが利用可能になるかどうかを予測しようとしています。予想通り、その対象の通常の負荷は日中に発生します。私の現在のモデルは、日中に複数の負荷がある期間に対して状態を“忙しい”と予測しています。現在、日付と時刻を表す8つの特徴（sin および cos）と、その対象からの信号を持っています。

クラスの重みを混ぜてみたが、望んでいた結果を得られませんでした。