Unity (ML-Agents) でコースを回る動作を学習させる

下記のサイトの手順を参考にして、環境を作ってみました。

https://joytas.net/programming/unity/ml-agents7

基本的にはサイトの説明通りですが、個人的にハマった点が１つ。

Player オブジェクトに Ray Perception Sensor 3D を追加するところで、「以下のように設定する～」とあってその下に画面コピーがあるのですが、そこで赤枠で囲まれているところだけでなく、"Detectable Tags" に Wall を追加する必要があります。確かに画面コピーではそのようになっているので、忠実に指示に従えば間違えなかったのですが、赤枠のところしか見なかったのでしばらくハマりました・・・

(壁を検知しないので引っかかってばかりいました)

また、それに伴い何度か学習をリトライさせていたら、いくらやっても報酬を得られなくなってしまうことがありました。なぜかわからないのですが、ml-agents\result フォルダ配下にある --run-id で指定する ID のフォルダを一度削除して mlagents-learn コマンドを実行すると報酬を得られるようになりました。

tensorboard で学習状況を見てみると、このように報酬グラフが遷移しました。参考にしたサイトでは 20,000回ぐらいの学習でスムーズに動くようになったとありますが、こちらで試した際は 30,000回ぐらい学習させないと全然でした。

結果のモデルを適用させると、こんな感じです。