tensorRT---认识cuda RuntimeAPI(memory、Pinned Memory)

1. 对于 runtimeAPI ,与 driver 最大区别是 懒加载 2. 即,第一个 runtime API 调用时,会进行 cuInit 初始化 ,避免驱动 api 的初始化窘境 3. 即,第一个需要 context API 调用时,会进行 context 关联并创建 context 和设置当前 context 调用 cuDevicePrimaryCtxRetain 实现 4. 绝大部分 api 需要 context ,例如查询当前显卡名称、参数、内存分配、释放等

         

1. CUDA Runtime 是封装了 CUDA Driver 的高级别更友好的 API 2. 使用 cuDevicePrimaryCtxRetain 为每个设备设置 context ,不再手工管理 context ,并且不提供直接管理 context API (可 Driver API 管理,通常不需要) 3.


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部