英伟达TENSORRT7支持1000多种不同的计算变换和优化！

英伟达TENSORRT7支持1000多种不同的计算变换和优化！

　　英伟达GTC(GPU 技术大会)2019在苏州隆重召开，英伟达创始人兼首席执行官黄仁勋依旧是穿着熟悉的皮衣跟大家见面。

　　会上，英伟达发布了TENSORRT7。

　　据介绍，TensorRT7支持各种类型的RNN，Transformer和CNN。此外，TRT7能够融合水平和垂直方向的运算，可以为开发者设计的大量RNN配置自动生成代码，逐点融合LSTM单元，甚至可跨多个时间步长进行融合。并且尽可能做自动低精度推理。

　　相比于TRT5只支持30种变换，TRT7能够支持1000多种不同的计算变换和优化。

　　TensorRT是一种计算图优化编译器以深度学习框架，如 TensorFlow，训练得到的模型作为输入，为 CUDA GPU生成优化了的模型运行时。

　　TensorRT寻找计算图中可以融合的节点和边，从而减少计算和内存访问。

　　去年，在 GTC China大会上，英伟达发布了 TensorRT5，支持自动低精度推理，将FP32模型转换成FP16或者INT8模型，而不损失准确率。

　　黄仁勋说到，TensorRT5存在着一个不足之处，那就是它仅支持CNN。而大多数语音模型需要RNN的支持，语音推理需要大量的工作负载，为此，今年我们推出了TensorRT7。

　　可以这么说，TRT7是英伟达实现的最大飞跃。

关注电子行业精彩资讯，关注华强资讯官方微信，精华内容抢鲜读，还有机会获赠全年杂志

关注方法：添加好友→搜索“华强微电子”→关注

或微信“扫一扫”二维码