囲碁AI新着情報掲示板
   
おなまえ
Eメール
タイトル
コメント
参照URL
添付File
暗証キー (英数字8文字以内)
画像認証 (右画像の数字入力) 投稿キー
文字色
arrow.png
TensorRT版katago
レスが長くなってきたのでこちらに。
T.Lさんと道草さんに教えていただいたTensorRT版katagoを起動する方法を「CUDAのインストール」のページ下部に書き加えました。
https://www.h-eba.com/Lizzie/cuda.html
user.png Eba time.png 2021/10/27(Wed) 15:42 No.1193 [返信]
Re: TensorRT版katago
numSearchThreads = 16
nnMaxBatchSize = 8
この設定でやってみたら、40bも60bもデフォルトの設定時と比較して3倍近い探索速度が出ました。
但し開発者は、nnMaxBatchSizeに関してはデフォルトの設定を推奨しています。速度が上がっても精度や強度に悪影響があるということでしょうか?

lizzieyzyについてですが、TensorRT版は2回目以降の起動時でも2分強かかります。lizzie改良版だと30秒程度です。katago_tensorRTフォルダにTensorRTのlibフォルダに含まれているファイルのうち2個しか無かったのでこれが原因かと思ったのですが違いました。
使用されているKataGoの実行ファイルの違いにより、生成されるtrtcacheのサイズが大きく異なることが原因のようです。
katago.exeを置き換えたら起動時間が大幅に短縮されました。

※TensorRTのlibフォルダに含まれる9個のファイルのうち必要なのは以下の2個のようです。

・nvinfer.dll
・nvinfer_builder_resource.dll
user_com.png hope366 time.png 2021/10/27(Wed) 20:36 No.1194
Re: TensorRT版katago
hope366さんへ
>katago.exeを置き換えたら起動時間が大幅に短縮されました。

具体的に説明をしてもらえますか
user_com.png odagaki0621 time.png 2021/10/27(Wed) 21:07 No.1195
Re: TensorRT版katago
私の場合は、公式のkatago(katago-v1.10.0-trt8.2-cuda11.2-windows-x64)から以下の3つのファイルをlizzieyzyのkatago_tensorRTフォルダに持ってきて、config.txtのkatago20211025_trt_64.exeをkatago.exeに変更しました。
・katago.exe
・libcrypto-1_1-x64.dll
・libssl-1_1-x64.dll
公式のkatagoフォルダをそのまま持ってきてエンジンコマンドを新たに作成する方法もあると思います。
user_com.png hope366 time.png 2021/10/27(Wed) 21:28 No.1196
Re: TensorRT版katago
hope366さんへ
私はてっきりlizzieyzyに同梱されているTensorRT用の実行ファイルは
公開されたTensorRT用の実行ファイルと同一のものだと思っていました
早速チェックしてみます ありがとうございました
user_com.png odagaki0621 time.png 2021/10/27(Wed) 21:47 No.1197
Re: TensorRT版katago
なるほど、lizzieyzyが使っているkatago-trt.exeは謎ですね。
katago_20211025_trt64.exeという名前から見ると発表されたばかりの最新版のようですが、サイズが違います。
user_com.png Eba time.png 2021/10/27(Wed) 21:54 No.1198
Re: TensorRT版katago
katago_20211025_trt64.exeはyzyrayさんが独自に作成したもので、起動時に生成されるtrtcacheのサイズが通常のkatagoと比較して非常に大きいです。これが起動に時間がかかる理由みたいです。
lizzieyzyのIssuesでいろいろ教えて頂いているところです。
https://github.com/yzyray/lizzieyzy/issues/7
user_com.png hope366 time.png 2021/10/27(Wed) 22:28 No.1199
Re: TensorRT版katago
hope366さんは行動が早いな♪
opencl版もサイズが違うので独自に開発したものでしょうね。ひょっとしたら夏頃から野狐囲碁に常駐しているkatagoはこれなのかな?
user_com.png Eba time.png 2021/10/27(Wed) 22:33 No.1200
Re: TensorRT版katago
lizzieyzyの最新バージョンの2.4.5を試しましたが、TensorRT版の起動が前回よりもはるかに速いです。特に2回目以降は40bで3秒、60bで7秒程度で起動しました😄
lizzie改良版のkatagoフォルダにkatago_20211025_trt64.exeをもってきたら、こちらも同様の速さとなりました。
user_com.png hope366 time.png 2021/10/28(Thu) 02:12 No.1201
Re: TensorRT版katago
lizzieyzyに同梱されているの実行ファイルと公開された実行ファイルのTensorRT版及び
opencl版の実行ファイル同士をlizzieyzyの自動対局機能を使用してTotalVisits4000
FirstVisits2000で各100戦させた NWは全て40bのs1015です
結果は両方共微差だが 公開された実行ファイルが52-48で勝ち越した
user_com.png odagaki0621 time.png 2021/10/29(Fri) 11:19 No.1202
Re: TensorRT版katago
検証おつかれさまでした。
つまり公開ファイルの方がtensorrt,opencl両方とも52%ほどの勝率ということでしょうか?
100回の母集団では52%は有意でありませんが(1000回なら有意)、2つの例ならもう少し信憑性が高まります。
user_com.png Eba time.png 2021/10/29(Fri) 14:41 No.1203
Re: TensorRT版katago
Ebaさんへ
TensorRT版 opencl版 共に52-48で公開版の勝ち越しです
user_com.png odagaki0621 time.png 2021/10/29(Fri) 16:41 No.1205
katago-v1.10.0リリース
katago-v1.10.0がリリースされました。
https://github.com/lightvector/KataGo/releases/tag/v1.10.0
これまでのopencl版、cuda版、eigen版にTensorRT版が加わりました。
細かな改善とバグフィクスがありますが、非アスキー文字をパスに使えるようになったのが、一般のユーザーにとっては有用でしょう。
詳細はリリースページをご覧ください。
導入方法はこちらも見てください。
https://www.h-eba.com/Lizzie/soft.html#gk5

TensorRTについては、以下の2つの解説が分かりやすいです。
https://qiita.com/Hiroaki-K4/items/e8dc965c7640c67fdf02
https://www.macnica.co.jp/business/semiconductor/articles/nvidia/136485/
TensorRTのダウンロード方法は「CUDAのインストール」のページ下部に書きましたが、Windows環境でインストールするには Python環境でターミナルを開く必要があるなど一般ユーザーにとってハードルが高いです。もし簡単にインストールできる方法があったらお教えください。
https://www.h-eba.com/Lizzie/cuda.html
user.png Eba time.png 2021/10/25(Mon) 13:03 No.1180 [返信]
Re: katago-v1.10.0リリース
初めまして。
こちらのレスを見て早速試しました。

TensorRTに関しては、ダウンロード→解凍→lib中のファイルをlizzieに移す、これだけで速くなりました。

自分はPCの素人でさらに速くなる方法は知りませんが、一応情報の提供だけでもお役に立てたらと思ってます。
user_com.png T.L time.png 2021/10/25(Mon) 16:55 No.1181
Re: katago-v1.10.0リリース
T.L さん、情報をありがとうございます。
TensorRT版をLizzie改良版を使って入れてみました。ちゃんと動きました。
私のやり方は以下です。(CUDA 11.1+、CUDNN 8.2+は先にインストールしてあります。https://www.h-eba.com/Lizzie/cuda.html参照)
1、TensorRT版のkatago.exeをLizzie改良版のkatagoフォルダにコピーしてkatago-trt.exeと名前を変更します
2、ダウンロードしたTensorRT-8.2.0.6フォルダの livフォルダにあるファイル9個を全部Lizzie改良版のkatagoフォルダにコピーします
3、Lizzie改良版のkatagoフォルダに40blockのnetworkをコピーして、40b-default_model.bin.gzと名前を変更します
4、Lizzie改良版を起動して、設定→エンジンでエンジンの空欄に<KataGo-trt (40bGPU)> katago/katago-trt gtp -config katago/default_gtp.cfg -model katago/40b-default_model.bin.gz と記入してOKで閉じます
5、Lizzie改良版のエンジン選択メニューで KataGo-trt (40bGPU)を指定します
KataGo-trt (40bGPU)をロードするのに初回は3分弱、その後も毎回40秒ほど待たされます。

なお、katago-opencl.exeを使うKataGo (40bGPU)と比較してみました。
katago-opencl 50万playoutに1分57秒、訪問数/秒は3500~5000
katago-trt   50万playoutに1分53秒、訪問数/秒は4000~5000
で、特に早くなった感じはありませんでしたが訪問数/秒の平均値は少し上がっているように思いました。
以上、あくまで私の環境でのデータと感想です。
user_com.png Eba time.png 2021/10/25(Mon) 20:06 No.1182
Re: katago-v1.10.0リリース
Pythonを弄れなくても速くなるようですね。
もっと良いチューニングの仕方が楽しみです。

それぞれ環境の違いによるでしょうか、私の場合はかなり顕著な違いがありました。
同じ時間内、b60の場合17k→22~3k、b40の場合40k→60k。
単純にv1.9からv1.10になったおかげなのか、
それともTensorRTが利いてるのかは検証しておりませんでしたが。

P.S. いつもこちらのサイトで設定の勉強や情報の収集させて頂いております。
Ebaさんを始め沢山の方々に感謝申し上げます。
user_com.png T.L time.png 2021/10/25(Mon) 20:49 No.1183
Re: katago-v1.10.0リリース
cuda_11.5.0_496.13_win10のインストールがうまくいかず、途中で「インストールが失敗しました」となります。ローカルとネットワークどちらでやってもダメで、NVIDIAのドライバを最新のにしてもダメでした。
仕方なく、以前katagoのCUDAバージョンを動かした時と同じようにメガパックからライブラリを拝借しました。
cublas64_11.dll
cublasLt64_11.dll
cudart64_110.dll
cudnn_cnn_infer64_8.dll
cudnn_ops_infer64_8.dll
cudnn64_8.dll
メガパックのlizzieフォルダにあるこれらのファイルと、「TensorRT-8.2.0.6.Windows10.x86_64.cuda-11.4.cudnn8.2」の中にあるlibフォルダの中身をkatagoフォルダにコピーすることで無事起動しました。最初起動させる時にGTPコンソールで何かを実行している様子がないので、何かの不具合なのかと諦めそうになりました。OpenCLのチューニングみたいなのを予想していたので戸惑いました。
分析速度については以下のような感じでした。

GPU=RTX2060
40b 1.9.1-opencl 500v/s
1.10.1-opencl 500v/s
1.10.1-trt 750v/s

60b 1.9.1-opencl 250v/s
1.10.1-opencl 150v/s
1.10.1-trt 320v/s

1.10.1-trtは最初それほど速くなかったのですが、numSearchThreadsをデフォルトの6から通常使用している16へ変更することでだいぶ速くなりました。
40bで1.5倍、60bで1.3倍くらいです。60bの1.10.1-openclが1.9.1-openclよりだいぶ遅いのですが理由が分かりません。

T.Lさん、便利な方法を教えて頂き有難うございました。
user_com.png hope366 time.png 2021/10/25(Mon) 23:50 No.1185
Re: katago-v1.10.0リリース
Lizzieyzy v2.4.4が早くも TensorRT版をエンジンに載せてますが、同じように livフォルダの中身を移動してありますね。

hope366さん、
私はcuda_11.5.0ではなく、11.4.2をインストールしました。
前のバージョンはこちらにあります。https://developer.nvidia.com/cuda-toolkit-archive
katagoのTensorRT版はCUDA 11.1以上、CUDNN 8.2以上となっていますので、以前のバージョンでインストールに成功するものがあればいいのですが。。。
user_com.png Eba time.png 2021/10/26(Tue) 13:21 No.1186
Re: katago-v1.10.0リリース
Lizzieyzy v2.4.4のkatago_tensorRTフォルダの中にlibのファイルを全部は
コピーしていないようで GTX1070機では動作しませんでしたが 残り全部を
コピーしたらGTX1070機でも動作しました RTX機ほど速くはならないと思い
ますが 現在 検証しています
それとLizzieyzyにCPUモードのエンジンをインストールする時 実行(.exe)
ファイルだけでなくlibssl-1_1-x64.dll及びlibcrypto-1_1-x64.dllの2つを
エンジンフォルダにコピーする必要があります
user_com.png odagaki0621 time.png 2021/10/26(Tue) 17:35 No.1187
Re: katago-v1.10.0リリース
1188Ebaさん、アドバイス有難うございます。
11.4.2を試してみたのですが、11.5.0と同じようにエラーになりました。
メガパックにCUDA、cuDNN、TensorRTのそれぞれ必要なファイルが同梱されていますので、どのファイルか予め分かっていればこちらのほうが手間が少なく成功率が高そうです。

user_com.png hope366 time.png 2021/10/26(Tue) 19:09 No.1188
Re: katago-v1.10.0リリース
[作業内容]
割とクリーンなWindows10環境(GPUはRTX2060)で、CUDA11.4.2のネットワークインストールに成功。それからcuDNN8.2.4.15のライブラリをCUDAに導入。(ここまではいつもと同じ)
TensorRT-8.2.0.6のフォルダをそのまま「NVIDIA GPU Computing Toolkit」フォルダに置き、システム環境変数のPATHにTensorRT-8.2.0.6\libまでのフルパスを追加。

とりあえずこれだけの作業で、katago-v1.10.0-trt8.2-cuda11.2は動きました。
60bでの探索速度は、1.9.1のOpenCLバージョンと比べて2倍くらい出ています。
(numSearchThreads = 18、nnMaxBatchSize = 8に設定)
user_com.png 道草 time.png 2021/10/27(Wed) 12:42 No.1190
Re: katago-v1.10.0リリース
パスを通す作業はしばらくやってなくて忘れていました。道草さんの紹介された方法をやってみました。
ちゃんとkatago-v1.10.0-trt8.2-cuda11.2-windows-x64のkatagoが動きました。
道草さんと同様 v1.9openclとv1.10trtを60bネットで比較したらtrtが1.4~1.6倍速になりました。(GPU RTX2080, numSearchThreads 16)

この方法はアプリを変更するたびに TensorRTのlivフォルダをコピーする面倒はないので楽ですね。しかし、一般のWindowsユーザーには危険を伴う方法なのでお薦めできません。パソコン作業に慣れている方にはお薦めしますが、あくまで自己責任でお願いします。
Windowsで環境変数を設定する方法は検索すればたくさん出てきます。以下など参考にしてください。
https://proengineer.internous.co.jp/content/columnfeature/5205
user_com.png Eba time.png 2021/10/27(Wed) 14:45 No.1192
Lizzieyzy v2.4.4リリース
Lizzieyzy v2.4.4がリリースされました。
https://github.com/yzyray/lizzieyzy/releases/tag/2.4.4.1
非常に大きな碁盤(52以上)での棋譜を保存、野狐囲碁の棋譜を直接開く機能の追加、など幾つかの変更点があります。詳細はリリースページをご覧ください。
導入方法はこちらも見てください。
https://www.h-eba.com/Lizzie/soft.html#gk21
user.png Eba time.png 2021/10/25(Mon) 22:55 No.1184 [返信]
Re: Lizzieyzy v2.4.4リリース
Lizzieyzyにはkatagoの TensorRT版がエンジンとして登録されていますので、他のエンジンを登録する方法などを掲載しました。
https://www.h-eba.com/Lizzie/soft.html#gk21
使ってみると、軽いし意外に使いやすいソフトです。

前のスレの odagaki0621さんへ
Lizzieyzyの情報ありがとうございました。katagoのCPU版は、katago-v1.10.0-eigen-windows-x64をそのままLizzieyzyのフォルダに入れれば動きました。eigenavx2も同様です。
user_com.png Eba time.png 2021/10/26(Tue) 19:52 No.1189
Lizzieyzy v2.4.5リリース
Lizzieyzy v2.4.5がリリースされました。v2.4.4のバグフィクスです。
https://github.com/yzyray/lizzieyzy/releases/tag/2.4.5
1. TensorRTエンジンで、碁盤サイズを切り替えるとポイントの選択に混乱が生じる問題を修正
2. 碁盤サイズを切り替えた際に、基板表示の更新が間に合わない問題を修正
user_com.png Eba time.png 2021/10/27(Wed) 13:02 No.1191
LizGobanアップデート
LizGoban-0.7.0-pre1がリリースされました。
https://github.com/kaorahi/lizgoban/releases/tag/v0.7.0-pre1
棋譜を読み込むと最終手まで簡易分析していたのをツールメニューからオンオフできるようになりました。
黒白の領域計算が少し正確になりました。
棋譜にルールが明示されていない場合でもコミから推察します。
その他詳細はリリースページおよび起動してヘルプ(日本語)をご覧下さい。

導入方法はこちらも参考にして下さい。
https://www.h-eba.com/Lizzie/soft.html#gk16
user.png Eba time.png 2021/10/23(Sat) 22:18 No.1179 [返信]
Lizzieの改良版 Lizzieyzy
1176最近Lizzieの改良版 Lizzieyzy2.4.3とLizzieyzyに連珠アプリのKatago版を載せたKatagomoにハマってる
LizzieyzyはLizzieとkatrainと自動対局ツール「GoGuiTool」の特長を併せ持ったユニークなアプリだと思う
使用経験の無い方は一度使用することをお勧めする まだ日本語に対応していないが日頃Lizzieを使用して
いる方は直感でかなり使用できると思います

Katagomoは人類最後?の砦の連珠もついにAIに完全に屈したと思われるアプリ(特にRTX専用のCUDA版) 但し
連珠に関係ないコミ等の囲碁の設定項目が残っているが無視して下さい 二つの下の方がKatagomoのページ

https://github.com/yzyray/lizzieyzy/releases/tag/2.4.3
https://github.com/hzyhhzy/KataGo/releases

user.png odagaki0621 time.png 2021/10/22(Fri) 00:07 No.1176 [返信]
Re: Lizzieの改良版 Lizzieyzy
odagaki0621さん、新情報をありがとうございます。
今年の7月に前バージョンをDLしていたのを忘れていました。使ってみてから「他AIの導入方法」で紹介したいと思います。(rarファイルの解凍が一般の人には慣れないかも)
開発者名に "ray"が入っているのでRAYのzakkiさんかと思ったら中国の方のようですね。説明やメニューの一部が中国語ですが、基本的な使い方に限れば使えそうです。
user_com.png Eba time.png 2021/10/22(Fri) 12:19 No.1177
Lizzieyzy
囲碁検討ソフト「 Lizzieyzy」を他AIの導入方法に載せました。
https://www.h-eba.com/Lizzie/soft.html#gk21
本家LizzieのPull requestsにあった Lizzieの改良パーツを集合してありますから、プログラムとしてはLizzie改良版と大きな違いは無さそうです。
紹介文に訂正・補足等ありましたら教えてください。

Lizzieyzyで動く連珠専用ソフト「Katagomo」も、ついでに紹介しておきました。
user_com.png Eba time.png 2021/10/23(Sat) 20:31 No.1178
処理 記事No 暗証キー

- JoyfulNote -