astro.sixbytes.de - Linux NN GPU Support

Willkommen im Labor - Wo die Zukunft schon heute gemacht wird.

Fitswork Workflow Linux NN GPU Support Guidingcam

Nachfolgend Hinweise zur Installation von nVidia Treiber, CUDA und cuDNN auf Linux Mint, Ubuntu, Debian, zur Verwendung der GPU beim trainieren von neuronalen Netzwerken mit z.B. Tensorflow.

Getestet zuletzt auf Linux Mint 21.1 (Vera), 29.04.2023

1) Zuerst auf dieser Seite schauen, welche CUDA und cuDNN zum aktuellen tensorflow passen:

https://www.tensorflow.org/install/source#gpu

Dies war im April 2023 für tensorflow-2.12.0: CUDA 11.8 und cuDNN 8.6

Hinweis: Wenn der installierte nVidia Treiber der neueste ist (war 525.x und in nvidia-smi gelabelt mit CUDA 12), dann ergab
eine Google suche mit "how to install cuda 11.8 with 525 driver?" u.a. folgende Seite:

https://gist.github.com/Birch-san/8ec1f5073b117737cda86a70b01973ba

Dort erster Satz: Install latest Nvidia driver -- 525 is CUDA 12-era, but is backwards-compatible with 11.8:

Update 29.04.2023: Gilt auch für Treiber 530.41.03

--------------------------------------------------------------------------------------------

2) CUDA herunterladen

https://developer.nvidia.com/cuda-toolkit-archive

Dann z.B. CUDA Toolkit 11.8.0 -> OS Linux -> Architecture x86_64 -> Distribution Ubuntu (oder Debian) -> Version 22.04 (nur bei Ubuntu) -> runfile (local)

Danach chmod x auf das File und mit sudo starten.
*** Im Installationsmenü die Treiber-Installation ausschalten! ***

CUDA Libs sollen sein (auf Mint/Ubuntu) in /usr/local/cuda-11.8 bzw. soll ein symlink "cuda" dort auf das cuda-11.8 Verzeichnis zeigen

----------------------------------------------------------------------------------------------

3) cuDNN herunterladen (Account bei nVidia nötig)

https://developer.nvidia.com/rdp/cudnn-archive

Dann z.B. Download cuDNN v8.6.0 (October 3rd, 2022), for CUDA 11.x -> Local Installer for Linux x86_64 (Tar)

Datei speichern und auf der Seite

https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html

unter "1.3.1. Tar File Installation" die beschriebenen Schritte 1-3 durchführen:

tar -xvf cudnn-linux-x86_64-8.x.x.x_cudaX.Y-archive.tar.xz
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

Achtung: Bei 1. den richtigen Dateinamen wählen.

------------------------------------------------------------------------------------------------

4) Im Userverzeichnis des verwendeten Users die .bashrc öffnen und am Ende so was einfügen:

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

Aktuellen Terminal schließen und neu öffnen

Ggf. installieren:

sudo apt install nvtop

Hinweis bei tensorflow Starts: Wenn Meldung kommt:

"Could not load dynamic library 'libnvinfer.so.7'"

dann kann das offenbar ignoriert werden. siehe:

https://ai.stackexchange.com/questions/39405/how-important-is-to-fix-this-common-tensorflow-warning

Sonstiges

Spyder update

conda update --name base conda
conda install spyder=5.4.3

-----------------------------------------------------------------------------------------------

anaconda install dependencies/stuff/trouble shoot

pip install tensorflow opencv-python matplotlib labelme albumentations

Bei opencv-Fehler i.e. in spyder:
error: OpenCV(4.7.0) /io/opencv/modules/highgui/src/window.cpp:1266: error: (-2:Unspecified error) The function is not implemented. Rebuild the library with Windows, GTK 2.x or Cocoa support. If you are on Ubuntu or Debian, install libgtk2.0-dev and pkg-config, then re-run cmake or configure script in function 'cvDestroyAllWindows'

pip uninstall opencv-python-headless
pip uninstall opencv-python; pip install opencv-python

Danach spyder schließen/öffnen oder iPython Kernel neu starten:

Spyder menu -> Consoles -> Restart Kernel (CTRL .)

Letzte Galeriebilder

Mondphase