极智AI | libtorch 调用模型推理方法

欢迎关注我的公众号 [极智视界],获取我的更多笔记分享

  大家好,我是极智视界,本文介绍一下 libtorch 调用模型推理方法

  之前写了一篇《ubuntu 安装 libtorch》,所以关于 ubuntu 上安装 libtorch 的方法,有兴趣的同学可以自行查看。libtorch 是 pytorch 的 C++ 版本,支持 CPU 端和 GPU 端的模型部署。相较于用 tensorrt 部署 pytorch 模型,用 libtorch的优势在于:pytorch 和 libtorch 同属一个生态,API 语句比较接近,并且不会出现某网络层不支持的问题。这里咱们来看一下 libtorch 怎么调用模型进行推理的。

  下面开始。

  这里咱们以 resnet50 为例。

  首先加载 resnet50 模型,并导出 trace 模型。

# 准备一个 py 脚本,里面内容如下
import torch


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部