Tensorflow-Quantisierung



tensorflow gpu windows (1)

Ich möchte ein Diagramm mit dem Tensorflow-Werkzeug transform_graph optimieren. Ich habe versucht, die Grafik von MultiNet (und anderen mit ähnlichen Encoder-Decoder-Architekturen) zu optimieren. Allerdings ist das optimierte Diagramm bei Verwendung von quantis_weights tatsächlich langsamer und bei Verwendung von quantise_nodes sogar sehr viel langsamer. In der Tensorflow-Dokumentation gibt es möglicherweise keine Verbesserungen oder sogar eine langsamere Quantisierung. Irgendeine Idee, wenn das mit dem Diagramm / der Software / Hardware unten normal ist?

Hier ist meine Systeminformation für Ihre Referenz:

  • OS Plattform und Distribution: Linux Ubuntu 16.04
  • TensorFlow installiert von: Verwendung von TF-Quellcode (CPU) für die Graphkonvertierung unter Verwendung von binärem Python (GPU) zur Inferenz
  • TensorFlow-Version: beide mit r1.3
  • Python-Version: 2.7
  • Bazel-Version: 0.6.1
  • CUDA / cuDNN-Version: 8.0 / 6.0 (nur Schlussfolgerung)
  • GPU-Modell und Speicher: GeForce GTX 1080 Ti

Ich kann alle Skripte, die für die Reproduktion benötigt werden, bei Bedarf posten.