ChatGPT和InstructGPT，都是使用 RLHF（Reinforcement learning with human feedback，从人类反馈中强化学习）训练的。两者不同之处在于数据是如何设置用于训练（以及收集）的。