Hello.
Thank you very much for your answer.
In short
Episode → refers to the process of learning an agent from “observation”, “action”, “reward”, to “completion” (up to the agent completed state)
Steps → the number of times the agent has taken an action until completion
Iteration → Number of times the training is performed (number of times)
Is this correct?
I have a few more questions,
The average reward in the log is output every 78 iterations, but how is the average reward, average value, etc. calculated (please also tell me how the average reward is calculated when the log is output)?
Also, could you please elaborate on the relationship between episodes, iterations, and steps?
Key questions we would like you to answer
What is the relationship between the number of episodes, iterations, and steps?
How do you calculate the average reward for log output?
We need to include this information in our papers, etc. … Thank you in advance for your time and help in answering this question.
(Again, I used translation software to ask this question.)
こんにちは
ご回答くださりありがとうございます。
要するに
エピソード → エージェントを学習する上での「観察」、「行動」、「報酬」、「完了」までの流れを指す。（エージェント完了した状態まで）
ステップ → エージェントが完了するまでの行動をとった回数
イテレーション（イタレーション） → トレーニングを何回行うか（回数）
という認識で合ってますでしょうか。
あといくつか追加で質問なのですが、
Logに書かれる平均報酬ですが、イテレーション78回ごとに出力されているのですが、平均報酬、平均価値などの計算方法について(Log出力される際の平均報酬の計算方法についても教えてください）
また、エピソードとイテレーション、ステップの関係性について詳しく教えていただけないでしょうか。
お答えしていただきたい質問の要点
・エピソード、イテレーション、ステップ数の関係について
・ログ出力の平均報酬の計算方法について
論文等に記載する必要があるので…お手数をおかけしますがご回答のほどよろしくお願いいたします。