使用paddleocr进行文本检测和识别,当打开use_tensorrt时候,加载推理模型非常慢,一般都要十分钟以上,这是咋回事是推理模型在内存进行trt序列化和反序列化吗,怎么提高tensorrt加载模型效率?
e5nszbig1#
这块目前没有很好的办法规避,你可以打开trt engine build过程中的use_static=True,他会生成trt的序列子图,第一次加载很慢(需要生成子图),后面再加载就都会很快
ua4mk5z42#
use_static=True
ok我试试谢谢大佬
2条答案
按热度按时间e5nszbig1#
这块目前没有很好的办法规避,你可以打开trt engine build过程中的use_static=True,他会生成trt的序列子图,第一次加载很慢(需要生成子图),后面再加载就都会很快
ua4mk5z42#
use_static=True
ok我试试谢谢大佬