Feat/toponav#2
Conversation
Load ml_planner-style topomap files, estimate the current node by PlaceNet inner product, and select the next graph node as the NavVLA goal.
Provide a CLI that builds topomap.yaml and node images from create_data.py datasets using PlaceNet features.
Update the goal image tensor from the topological navigator during inference so the next topomap node becomes the active NavVLA target.
Expose flags and paths for enabling topomap-based goal selection and PlaceNet feature matching.
Package generated topomap files when present and register the create_topomap console script.
Keep generated deployment topomap data and local PlaceNet weights out of version control.
Keep toponav.py focused on loading and using existing topomaps, and move TopomapGenerator into the create_topomap command module.
|
二号館を左周りしたコースでトポロジカルマップを設定してそれを基に自分がいる位置に近いノードを推定し、次の目標画像をomnivla-edgeに入力としていれて実験しました。 |
This reverts commit eb27a56.
| import torch | ||
| from PIL import Image as PILImage | ||
|
|
||
| _THIS_FILE = Path(__file__).resolve() |
There was a problem hiding this comment.
この辺のpath周りの設定，変更が不要なようにも思えるのですが，変更が必要なら理由を教えてください
|
|
||
|
|
||
| def _update_text_feature(self) -> None: | ||
| prompt = self.latest_prompt if self.use_prompt else "No language instruction" |
There was a problem hiding this comment.
modality id次第で切り替えればuse_promptというパラメータを用意せずに済みそうですね
その際にプロンプトが与えられていないのであれば，エラーを返すようにしたほうが良いと思います．
| with torch.no_grad(): | ||
| self.feat_text = self.text_encoder.encode_text(token) | ||
|
|
||
| def resolve_package_path(self, raw_path: str) -> Path: |
kyo0221
left a comment
kyo0221
left a comment
There was a problem hiding this comment.
指摘ではないので，質問に答えていただければ大丈夫です
There was a problem hiding this comment.
checkpointに学習率の情報を含めたことや，schedulerの定義位置を変えたことに理由があれば教えてほしいです
There was a problem hiding this comment.
過学習が起こらないように学習率が最後のエポックで０になるようにコサインカーブで収束していくようにしているのですが、チェックポイントに学習率の情報を入れないと学習を中断して、また再開するときに一番高い学習率から始まるためこのような処理をいれました。
There was a problem hiding this comment.
なるほどー、二重でファインチューニングする時って感じですかね
There was a problem hiding this comment.
そうです。
二重というよりかは指定したエポックに到達する前に学習を中断しても途中からその学習を再開できるようにしてます。
ノートpcで学習してるのでそのような場面が生まれてしまいます。
2 participants
ml_plannerのロジックを参考にトポロジカルマップを用いて最近傍ノードを推定しゴール画像を選択してナビゲーションを行う