- 3万+
- 积分
- 1万+
- 粉丝
- 1万+
- 获赞
- 525
- 评论
- 2万+
- 收藏
分类专栏
- PyTorch 28篇
- Startup 1篇
- NLP 14篇
- LLM 124篇
- Deep Learning 106篇
- Machine Learning 61篇
- Reinforcement Learning 11篇
- GRE And English Learning 307篇
- American Idioms 68篇
- Finance 52篇
- Design Pattern 4篇
- Python 60篇
- Golang 4篇
- C++ 43篇
- Mathematics 77篇
- Functional Programming 16篇
- DL Papers 4篇
- Linux 36篇
- Linux Server 8篇
- PAT Advanced Level 140篇
- CCF CSP 58篇
- Coding Interviews 13篇
- Data Structures and Algorithms 138篇
- LeetCode 50篇
- Spring Boot 32篇
- Java 19篇
- Kotlin 1篇
- Pointers On C 7篇
- MATLAB 33篇
- Operating System 4篇
- Computer Architecture 13篇
- Computer Network 12篇
- Principles of Communication 12篇
- LaTeX 5篇
- OpenCV 8篇
- MySQL 5篇
- Front End 8篇
- Computer Knowledge 3篇
- Debugging 39篇
- Organizational Behavior 15篇
- Reading Notes 17篇
- Hobbies 21篇
为什么混合精度训练中优化器参数仍然以 FP32 存储?LLaMA 2 7B 模型在混合精度下的显存需求
阿正的梦工坊: 你好。你可以查看我最近新发的几篇文章。里面解释了bf16转化为fp32的过程,梯度更新的时候用fp32和bf16的差别。希望对你有帮助。
。。。904: 请问为什么在梯度计算的时候仍然以bf16,这样梯度的数值不已经损失精度了吗?再以bf16下的数据进行权重更新的时候,即使这个时候改为fp32,数值不也是bf16下的数值吗?我有点疑惑这一点,望博主可以解答,万分感谢
Belinra: 抢到丈母娘的沙发了😭
阿正的梦工坊: 你好,如何是这门课使用的一小部分10k数据集,直接注册这门课,里面会有json文件。如果您指的是全部的10k数据集,我没有用过,我也不知道。
来自W_12星云的凹凸曼: 10k这个数据集json如何下载哈?