CUDAのインストール、TensorRTのダウンロード

CUDAのインストールTensorRTのダウンロード



CUDAのインストール


CUDA(クーダ)のインストール
GPU向けのツールであるCUDAの最新版をインストールします。

CUDAのページに行き、「Windows」「11」「exe[network]」と順にクリックしていくと右側下に「Download[**.*MB]」というボタンが現れますからダウンロードします。その「cuda_**.*.*_win10_network.exe」をダブルクリックすると NVIDIA CUDAのインストールが始まります。「システムチェック」「使用許諾契約書」「オプション」「インストール」と進みます。
インストールが完了するとCドライブにCUDA version **.*のフォルダが作られています。(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v**.*)

もしもお使いのGPUで最新版のCUDAが動かない場合は、古いバージョンを試して下さい。
CUDA Toolkit Archiveのページに行き、お使いのGPUに対応した Toolkitのバージョンを選んでクリックします。


cuDNNのダウンロード
Deep Learning用のライブラリであるcuDNNをダウンロードします。
cuDNNのページに行き、「Download cuDNN」ボタンを押します。
続いてログインページになります。初めての場合は「join」を、既に登録しているなら「Login」してください。
英語ばかりですが、「join」を選ぶとメールアドレスとパスワード、生年月日等を入力します。メールが来るので「VERIFY EMAIL ADDRESS」ボタンをクリックして登録完了です。
「I'm not a robot」で写真を選択するのに苦労するかもしれません。初めてログインするといろいろ聞かれますが適当に答えてください。

ログインしたら「I Agree~」にチェックを入れると、ダウンロードできるcuDNNのバージョンが幾つも現れます。一番上が最新ですがインストールしてあるCUDAのバージョンに対応したものを選びます。
「Download cuDNN v*.*.* (製作年月日), for CUDA **.*」をクリックし、下に現れる「cuDNN Library for Windows (x64)」を選択してダウンロードしてください。

展開すると図のようなフォルダがありますから、これらのフォルダの中身をインストールしてあるCUDAのフォルダにコピーします。
具体的には、CドライブのNVIDIA GPU Computing Toolkitフォルダ(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v**.*)の中の同名のフォルダにコピーします。「\bin」「\include」「\lib\x64」です。
Cドライブにコピーするとき管理者権限がないとできない場合もあります。

以上でCUDAのインストールは終了です。一度パソコンを再起動してから次の作業に移ってください。


なお、最新のcuDNNでは環境によっては動かない場合があります。
そういうときはcuDNNのバージョンを下げてみて下さい。NVIDIAにログインして「I Agree~」にチェックを入れると、ダウンロードできるcuDNNのバージョンが幾つも現れますが、その下に「Archived cuDNN Releases」というリンクがあるので、クリックすれば昔のバージョンが出てきます。インストールしたCUDAのバージョンに対応したものをダウンロードして下さい。



※※修正・追記(Oct. 26, 2021)※※
"
TensorRTのダウンロード


TensorRTのダウンロード
Deep Learning用の推論エンジンであるTensorRTをダウンロードします。
TensorRTのページに行き、「GET STARTED」ボタンを押します。

TensorRT 8.0のページで「Download Now」ボタンを押します。
続いてログインページになります。初めての場合は「join」を、既に登録しているなら「Login」してください。
英語ばかりですが、「join」を選ぶとメールアドレスとパスワード、生年月日等を入力します。メールが来るので「VERIFY EMAIL ADDRESS」ボタンをクリックして登録完了です。
「I'm not a robot」で写真を選択するのに苦労するかもしれません。初めてログインするといろいろ聞かれますが適当に答えてください。
久しぶりに「Log in」するとアカウントのセキュリティ確保のための認証システムなどの利用を勧められます。先に進むなら「Not now」を押します。続いてユーザープロフィールを確定するページで「Submit」を押します。

TensorRTのダウンロードページに来たら「TensortRT 8」をクリックします。

どのように使うのかなどアンケートされた後にやっとダウンロードページになりますから「TensorRT 8.2 EA」をクリックし、下にあるWindows版「TensorRT 8.2 EA for Windows 10 and CUDA 11.0, 11.1, 11.2, 11.3 & 11.4 ZIP Package」をダウンロードします。
こうしてやっとダウンロードしたTensorRTパッケージですが、Windows環境でインストールするには Python環境でターミナルを開く必要があるなど一般ユーザーにとってハードルが高いです。やる気のある人は以下を参考に頑張ってください。
Support Matrix
Installation Guide


その後情報掲示板でインストールすることなく、KataGoのTensorRT版を動かす方法を教えていただきました。
2つの方法を紹介します。CUDA 11.1以上、CUDNN 8.2以上は先にインストールしてあるのが前提です。
【T.Lさんの方法】
1、TensorRT版のkatago.exeをLizzie改良版のkatagoフォルダにコピーしてkatago-trt.exeと名前を変更します
2、ダウンロードしたTensorRT-8.2.0.6フォルダの livフォルダにあるファイル9個を全部Lizzie改良版のkatagoフォルダにコピーします
3、Lizzie改良版のkatagoフォルダに40blockのnetworkをコピーして、40b-default_model.bin.gzと名前を変更します
4、Lizzie改良版を起動して、設定→エンジンでエンジンの空欄に katago/katago-trt gtp -config katago/default_gtp.cfg -model katago/40b-default_model.bin.gz と記入してOKで閉じます
5、Lizzie改良版のエンジン選択メニューで KataGo-trt (40bGPU)を指定します

【道草さんの方法】※※この方法はシステムパスを書き換える部分を使うので自己責任でお願いします※※
1、C:\Program FilesのNVIDIA GPU Computing ToolkitフォルダにTensorRT-8.2.0.6フォルダをコピー
2、「コントロールパネル→システム→システムの詳細設定」または[Windows]キー+[Pause/Break]キー→システムの詳細設定
3、システムのプロパティで詳細設定タブ→環境変数
4、システム環境変数の中の Pathを編集
5、編集画面で新規→空欄に C:\Program Files\NVIDIA GPU Computing Toolkit\TensorRT-8.2.0.6\lib\ と記入してOK
6、その後はOKでシステムの詳細設定を抜け、一度パソコンを再起動すれば、以降はTensorRT版のkatagoがどのアプリにあっても動くようになります。

なお、LizzieなどでTensorRT版のエンジンをロードするのに初回は長時間(2~5分)、その後も毎回1分近く待たされます。


※※修正・追記(Nov. 7, 2021)※※
"