Pytorch dataparallel 用法

pytorch在github上强化学习的例子CartPolehttps://github.com/pytorch/examples/blob/master/reinforcement_learning/actor_critic.py

转载油管：https://www.youtube.com/watch?v=c36lUUr864M&t=9757s

动手写bert系列:https://space.bilibili.com/59807853/channel/collectiondetail?sid=496538pytorch系列:https://space.bilibili.com/59807853/channel/collectiondetail?sid=446911, 视频播放量 2524、弹幕量 0、点赞数 40、投硬币枚数 31、收藏人数 73、转发人数 8, 视频作者 五道口纳什, 作者简介 数学,计算机科学,现代人工智能。全网「五道口纳什」。,相关视频:[pytorch distributed] deepspeed 基本概念、原理(os+g+p),[pytorch 强化学习] 11 逐行写代码实现 DQN(ReplayMemory,Transition,DQN as Q function),[pytorch 强化学习] 06 迷宫环境(maze environment)SARSA(Q-table,value iteration)求解,[pytorch distributed] 04 模型并行(model parallel)on ResNet50,[pytorch 强化学习] 13 基于 pytorch 神经网络实现 policy gradient(REINFORCE)求解 CartPole,[leetcode reviews] 01 计算思维与刷题方法,[pytorch 强化学习] 04 迷宫环境(maze environment)封装 MazeEnv、Agent 类,[pytorch distributed] 02 DDP 基本概念(Ring AllReduce,node,world,rank,参数服务器),建议NLP方向的同学好好刷一遍这两大模块:HuggingFace模型+BERT中文语言模型,同济大佬从零到一通俗解读!,[动手写 bert 系列] bert embedding 源码解析,word_embedding/position_embedding/token_type