pytorch中的钩子Hook)作用

   pytorch对于中间变量,一旦它们完成了自身反传的使命,就会被释放掉。 因此,hook就派上用场了。简而言之,register_hook的作用是,当反传时,除了完成原有的反传,额外多完成一些任务。你可以定义一个中间变量的hook,将它的grad值打印出来,当然你也可以定义一个全局列表,将每次的grad值添加到里面去。 至于register_forward_hook和register_bac
相关文章
相关标签/搜索