paddleocr在jetson上使用tensorrt部署加载模型超过十分钟怎么提高加载模型速度

uyhoqukh  于 2023-02-04  发布在  其他
关注(0)|答案(2)|浏览(633)

使用paddleocr进行文本检测和识别,当打开use_tensorrt时候,加载推理模型非常慢,一般都要十分钟以上,这是咋回事是推理模型在内存进行trt序列化和反序列化吗,怎么提高tensorrt加载模型效率?

e5nszbig

e5nszbig1#

这块目前没有很好的办法规避,你可以打开trt engine build过程中的use_static=True,他会生成trt的序列子图,第一次加载很慢(需要生成子图),后面再加载就都会很快

ua4mk5z4

ua4mk5z42#

use_static=True

ok我试试谢谢大佬

相关问题