TensorRT笔记(7)使用无需重新格式化的网络I / O张量
使用无需重新格式化的网络I / O张量
- 6.使用无需重新格式化的网络I / O张量
- 6.1 使用无需重新格式化的网络I / O张量构建引擎
- 6.2 支持的数据类型和I / O张量的内存布局组合
- 6.3 使用INT8 I / O张量的网络进行校准
- 6.4 DLA限制
- 6.5 常见问题
6.使用无需重新格式化的网络I / O张量
汽车安全完整性等级（ASIL）对安全流程的要求 要求应从NvMedia DLA安全路径中删除对GPU地址空间的访问。 为实现此目标，引入了无格式的网络I / O张量，可让您在将数据传递给NVIDIA®TensorRT™之前指定NvMedia张量支持的I / O格式。
另一方面，张量重新格式化的潜在开销可能会导致性能问题，因为TensorRT小于6.0.1假定网络I / O张量是FP32。 如果将多个TensorRT子网（例如TensorFlow）嵌入到精度为INT8或FP16的大型网络中，则不可避免的I / O重新格式化到FP32或从FP32重新格式化可能会浪费大量的内存通信时间。 用户定义的插件上也可能发生相同的问题。 现在，您可以将网络I / O张量明确指定为INT8或FP16格式，以消除那些不必要的重新格式化。
6.1 使用无需重新格式化的网络I / O张量构建引擎
<本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！