FLUX.schnell推理报错Could not load library, libnvrtc.so.12.
FLUX.schnell推理报错Could not load library, libnvrtc.so.12.
目录
- FLUX.schnell推理报错Could not load library, libnvrtc.so.12.
- 写在前面
- 解决方案
写在前面
-
背景：flux弄个好了，模型也能跑起来，但是推理的时候就卡卡报错：
- 一个是上面的错：Could not load library, libnvrtc.so.12.
- 一个是下面的错：RuntimeError: cuDNN Frontend error: [cudnn_frontend] Error: No execution plans support the graph.
-
参考链接：
- (SDPA-CUDNN) Make CuDNN Attention Opt in by drisspg · Pull Request #138522 · pytorch/pytorch
- RuntimeError: cuDNN Frontend error: (cudnn_frontend) Error: No execution plans support the graph. · Issue #9704 · huggingface/diffusers
解决方案
-
我的环境是：torch=2.5.0+cu124，没错问题就在torch这，先说结论，torch改为2.4.1即可
-
具体怎么搞：
# conda conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 -c pytorch # pip pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 -
简单来说就是pytorch2.5的bug导致的，我特么服啦
-
😁 兄弟，全网，我搜遍了全网没找到答案，还是靠自己咔咔外网找啊，点个赞不过分吧
- ☁️ 我的CSDN：
https://blog.csdn.net/qq_21579045 - ❄️ 我的博客园：
- ☀️ 我的Github：
https://github.com/TinyHandsome - 🌈 我的bilibili：
https://space.bilibili.com/8182822 - 🍅 我的知乎：
https://www.zhihu.com/people/lyjun_ - 🐧 粉丝交流群：1060163543，神秘暗号：为干饭而来
碌碌谋生，谋其所爱。🌊 @李英俊小朋友