Best Optimizer

[MokkeMeguru]

dataset: oxford 102

• RAdam : あんまり良くない(過学習を起こした)

• Adam: あんまり良くない (過学習を起こした)

• Transformer Optimizer: ちゃんと収束する。NLLも下がる。