囲碁AI新着情報掲示板
   
おなまえ
Eメール
タイトル
コメント
参照URL
添付File
暗証キー (英数字8文字以内)
画像認証 (右画像の数字入力) 投稿キー
文字色
arrow.png
[patched lizzie]アップデート
patched074_211026aがリリースされました。
https://github.com/kaorahi/lizzie/releases/tag/patched074_211026a
KataGo v1.10.0が適用されています。
導入方法は以下を参考にして下さい。
https://www.h-eba.com/Lizzie/soft.html#gk15
1週間前にリリースされていたのを見逃していました。申し訳ないです。
user.png Eba time.png 2021/11/03(Wed) 11:54 No.1228 [返信]
簡単英語辞書SETee
SETeeはweb browserを立ち上げるまでも無い 単語の意味を調べるだけのときに便利なアプリです
手軽に割と詳細な意味を示してくれます 但し あくまでも単語の意味を示すだけで熟語には対応していません
例えばweb browserはwebとbrowser 蜘蛛の巣は蜘蛛と巣というように別々に調べる必要があります
しかし英和 和英の両対応で結構便利です 英和 和英の両対応なのにアプリが日本語化されていないのは笑う
おまけ?に英単語のタイピング練習アプリ SETeeTTT が同梱されています 下記が使い方とダウンロードのページです

https://freesoft-100.com/review/setee.html
user.png odagaki0621 time.png 2021/11/02(Tue) 18:21 No.1226 [返信]
分析速度について2
間違って新しいスレを立ててしまいました。前のスレが少し長くなったのでこちらでも良いでしょうか?

odagakiさん
lizzieyzyはlizzie改良版の全ての機能+αという感じなので、最近はlizzieyzyにはまっています。AI対AIの機能も素晴らしいですが、ゲーム全体を通して悪かった手を素早く確認できる機能もお気に入りです。

ところで分析速度に関して、もし可能であればodagakiさんや他の方にも検証して頂きたいのですがどうでしょうか?より多くの人に検証してもらうことで、速度の低下が個人の環境ではなくGUIの問題である可能性が高くなりますので・・
私の環境では、lizzieyzyでGPUへの高負荷状態(分析オン)をトータルで約10秒ほどかけると突然GPUへの負荷が65%程度に落ち、それ以降はずっと低負荷状態のままになります。lizzie改良版では永遠に高負荷状態が継続します。
user.png hope366 time.png 2021/10/30(Sat) 14:15 No.1216 [返信]
lizzieyzy
lizzieyzyは軽いし使いやすいので私も自分的にはお薦めです。さまざまなエンジンを登録するのも簡単ですし。
しかし、日本の一般ユーザーに勧める気にはなれません。理由は、
1、デフォルトのエンジンがopenCLとTensorRTなので、GPU搭載パソコン必須
2、拡張子が rarなので、一般のWindowsユーザーには解凍(展開)できない
3、解凍されたファイル(dm.dll)にウイルスソフトからの警告が出る
4、メニューその他が英語(一部に中国語)
これらがクリアされればお薦めなんですがね。特にdm.dllは何なのでしょうか?
user_com.png Eba time.png 2021/10/30(Sat) 15:33 No.1217
Re: 分析速度について2
hope366さんへ
現在 v1.9.1opcl対v1.10.0TensorRTの100戦をs1031NWをmV2000でGoGuiToolで行っています
上記と同一カードのopcl同士は200戦で100-100の完全な互角でした 現在70戦ほど対戦して
ほぼ互角の状況ですが気になるのがtsrtの方が15%ほど思考時間が長いということです
hope366さんの言われていた numSearchThreads = 16 nnMaxBatchSize = 8 の設定では
起動できなかったのでデフォルトの設定で対戦させています 
正確な思考時間はチェックできませんが次はlizzieyzyで試してみたいと思います

Ebaさんへ
一般ユーザーというのはPCの初心者という意味だと思われますが そんなことを言わずに
初心者(私も似たようなものですが)でもどんどんチャレンジしてもらいたいと思います
誰もが最初は初心者ですから そういう人達の疑問 質問に答える為にこのEbaさんのサイトが
あると思います 私を含めてみんなで協力して出来る限り疑問 質問に答えていきませんか?
user_com.png odagaki0621 time.png 2021/10/30(Sat) 18:34 No.1218
Re: 分析速度について2
odagaki0621さん、言葉足らずで気分を悪くされたならすみません。
ここ「囲碁やら何やら」は、無料で使える囲碁ソフトを紹介するためのサイトであることが基本です。ですから、特にどれを推薦するということもしていませんし、今後もどれか特定のものを推薦する気はありません。その点ご容赦ください。

パソコンを持っていれば使えるというのが望ましいのですが、高性能のパソコン(GPU搭載とか)でしか動かない AQZや lizzieyzyも紹介しています。
世の中には使い方を知らないだけで多くの有用な囲碁ソフトがあります。私に言わせるとLizGobanなどはLizzieよりもはるかに多くの機能があるのにもったいないと思っています。KaTrainやlizzieyzyもたぶんそういうソフトなんでしょう。
odagaki0621さんがlizzieyzyをお使いになり「Lizzieの使い方」と同様の「lizzieyzyの使い方」を書いていただければありがたいです。ぜひお願いします。
user_com.png Eba time.png 2021/10/30(Sat) 19:29 No.1219
Re: 分析速度について2
odagaki0621さん
デフォルトだと、numSearchThreads = 6 nnMaxBatchSize = <integer> だと思いますが、この設定で行っているということでしょうか?
どのGPUを使用しているかにもよると思いますが、OpenCLとTensorRTで最適なスレッド数が異なる可能性がありますので、ベンチマークテストの結果をそれぞれのエンジンにあてはめるというのはどうでしょうか?

TensorRTのほうが思考時間が長いということは、TensorRTのほうがOpenCLよりも遅い可能性が高そうですね。
user_com.png hope366 time.png 2021/10/30(Sat) 19:30 No.1220
Re: 分析速度について2
lizzieyzyの開発者のyzyrayさんによれば、dm.dllというのは同期ツールを使用するために必要なファイルで、野狐や東洋の機能を検出する機能があるためにウイルスと動作が少し似ているらしいのですが、安全とのことです。
同期ツールについては、上部ツールバーの「Board synchronization tool(Simplified)」というのを少し触ったことがあるのですが、碁盤上の表示がおかしくなったので敬遠していました。

先ほど「Board synchronization tool(Alt+O)」の方を試してみました。野狐囲碁の任意の部屋に入ると一瞬でlizziyzyの碁盤に野狐の碁盤の状況が再現され、逆に野狐の碁盤上にはlizzieyzyの候補手が表示されlizzieyzyの碁盤上で分析を行っているような感じになりました。
また、「Fox kifu」では野狐のユーザー名を入力すると棋譜一覧が出てきて、素早くlizzieyzyの碁盤に再現できるのでこれもかなり便利ですね。
user_com.png hope366 time.png 2021/11/01(Mon) 14:39 No.1221
Re: 分析速度について2
https://youtu.be/dE7tM-yruRg
韓国のSeventeenさんが紹介してましたので、「lizzieyzy」気になってましたが、まだ試しておりません。

言葉は分かりませんが、動画中の操作を見ると便利な機能が沢山付いてますね。
user_com.png T.L time.png 2021/11/01(Mon) 16:45 No.1222
Re: 分析速度について2
T.Lさん
YouTubeには翻訳機能がついていますが、かなりぎこちない日本語で読みづらいですね。
通常のlizzieにない新機能として私が面白そうだと感じたものを以下に示します。
・エンジン同士の対戦機能
・野狐や東洋囲碁の碁盤の状況とlizzieyzyの碁盤を同期させる機能
・野狐の棋譜を素早くlizzieyzyの碁盤に再現する機能(野狐を起動する必要無し)
・対局全体を通して良かった手や悪かった手を表にして確認できる機能
・コミ・ルール・PDA・WRNなどをGUI上で簡単に変更できる機能
・通常のlizzieよりもはるかに多くのエンジンを登録できます
user_com.png hope366 time.png 2021/11/01(Mon) 17:26 No.1223
Re: 分析速度について2
hope366さんへ
前の書き込みでGoGuiToolで15%ほどTensorRT版の方がOpenCL版より思考時間が長いという件ですが
結果 100戦してtsrtが54-46で勝ち越しました 勝率も15%ほどtsrtの方が高かったので元は取った?

次にlizzieyzyでの結果です default_gtpをデフォルトでTotalVisits4000 FirstVisits2000の設定で
全てs1031NW使用で50戦してtsrt24-26opclでほぼ互角でした 次にdefault_gtpのnumSearchThreads = 16と
nnMaxBatchSize = 8のhope366さんお勧めのターボモードでTV4000FV2000の設定でtsrt34-16opclでした
次にVisits指定なし1手5秒でtsrt31-19opclでした 流石ターボモードですね opclには余り効かない?
探索部は同梱のものではなく公開されたものを使用しました
user_com.png odagaki0621 time.png 2021/11/01(Mon) 18:45 No.1224
Re: 分析速度について2
odagaki0621さん
KataGoのリリースページを見ると、KataGoのTensorRTバックエンドはOpenCLやCUDAと比較して1.5倍の速度になる場合があるというだけで、強度が向上したという旨の記述はありません。
つまり、訪問数を固定した場合はOpenCLやCUDAとほとんど同じ強度だと思います。実際54-46という数値は誤差の範囲でほぼ互角かと思います。
また、ターボモードが優れていると主張するためには、同じバックエンドでターボモード対通常モードで検証して、ターボモードの勝率が高かったことを示す必要があると思います。
つまり、ターボモードのTensroRT対ターボモードのOpenCLでTensorRT側の勝率が高かったとしても、ターボモードの設定がOpenCL側により不利に働いたという可能性があるため一概にターボモードが優れているとは言えないと思います。

ターボモードが本当に優れているのかどうか?については私も興味がありますので、もしよかったら事前にベンチマークテストを行ってTensorRT版またはOpenCL版に最適なスレッド数を確認して、その数値をセットしたものとターボモードで優劣を競わせてみてはどうでしょうか?
最適スレッド数のTensorRT対ターボモードのTensorRT
最適スレッド数のOpenCL対ターボモードのOpenCL
こんな感じです。
user_com.png hope366 time.png 2021/11/01(Mon) 19:30 No.1225
KataGo-Golaxy Friendly Match
10月20日以降、次のフレドリィマッチが行われました。
Golaxy は、いずれも 32x speed 約8k v/s です。
No.27 は、 A100 x8 の予定でしたが、予算の関係で
A100 x 4枚で行われました。

No.23 Oct-22
KataGo 40b-s994
with 5x 2080ti + 5x v100 GPUs
speed -averaged 7k-20k visit/s on 40 block engine.

No.24 Oct-22
KataGo 40b-s994
with 5x 2080ti + 5x v100 GPUs
speed -averaged 7k-20k visit/s on 40 block engine.

No.25 Oct-27
KataGo 40b-s994
with 10 x 3080 GPUs
speed -averaged 25k~233k visit/s on 40 block engine.

No.26 Oct-27
KataGo 40b-s994
with 10 x 3080 GPUs
speed -averaged 25k~233k visit/s on 40 block engine.

No.27 Oct-29
KataGo 40b-s994
with 4 x A100 GPUs GPUs
speed -averaged 20k~100k visit/s on 40 block engine.

No.28 Oct-30
with 5x 2080ti + 5x v100 GPUs
speed -averaged 7k-40k visit/s on 40 block engine.

棋譜はこちらに追加いたしました。
宜しければ、ご覧ください。
https://www.youtube.com/playlist?list=PLqgZehRLH59lWl27eLwOe3_CjtcroUBtD
user.png Kimura time.png 2021/10/30(Sat) 13:30 No.1215 [返信]
分析速度について
私の環境ではlizzieyzy2.4.5は、分析速度に関してlizzie改良版よりも遅いです。
OpenCL版、TensorRT版のどちらで検証しても、lizzie改良版のほうが約1.5倍ほどの速度が出ます。

分析速度に影響しそうな下記のパラメータは、lizzieyzy2.4.5、lizzie改良版共に下記の数値に固定しました。
numSearchThreads = 16(デフォルト=6)
analysisWideRootNoise = 0.04(デフォルト)

何故分析速度に違いが生じるのかが分からず、現在lizzieyzyのIssuesに投稿しているところです。
皆さんの環境ではどうでしょうか。
user.png hope366 time.png 2021/10/29(Fri) 16:05 No.1204 [返信]
Re: 分析速度について
私の環境(RTX2080)でパラメーターをhope366さんと同じにしてやってみました。
Lizzie改良版で20万playouts、lizzieyzyで20万visitsとなるまでの分析時間の比較です。
openclエンジンで
Lizzie改良版は平均42秒(5000-6000visits/s)、lizzieyzyは平均4分55秒(600-900visits/s)
TensorRTエンジンで
Lizzie改良版は平均34秒(6000-8000visits/s)、lizzieyzyは平均4分13秒(680-980visits/s)

lizzieyzyの40b network(weight)をLizzie改良版と同じにしてみましたが、結果は同じでした。Lizzie改良版のplayoutsとlizzieyzyのvisitsが同じものという確証はありませんので、他に調査対象があれば教えてください。
user_com.png Eba time.png 2021/10/29(Fri) 22:30 No.1206
Re: 分析速度について
1207Ebaさん、検証して頂き有難うございます。
lizzie改良版とlizzieyzyで大きな差が見受けられますが、碁盤に一つも石が無い状態で検証されたのではないでしょうか?回転、対称の関係で最初だけ大きな数値になるのだと思います。lizzieyzyではそうならないような仕様なのだと思います。
それだと正確な比較になりませんので、ある程度石を配置してから再度検証してみてください。私がIssuesに投稿した時の検証では添付画像のような配置で行いました。
GPU-Zというアプリを使ってGPUにかかる負荷をチェックしたのですが、lizzie改良版はlizzieyzyの約1.5倍の負荷がかかっていて、分析速度も同じように約1.5倍の差がありました。
上記の条件で添付画像の局面を分析したところ、
lizzie改良版・・OpenCL40bで500visits/s前後、TensorRT40bで750visits/s前後
lizzieyzy ・・・OpenCL40bで350visits/s前後、TensorRT40bで500visits/s前後
多少ブレはありますが、ほぼこの値で推移しました。
40bのweightは全てkata1-s1015.gzを使用しました。

user_com.png hope366 time.png 2021/10/29(Fri) 23:04 No.1207
Re: 分析速度について
hope366さんの仰る通りだと思います。

空の碁盤で異様な速度が出るのはもちろん、異なる手順で同じ形になりやすいパターンでも大量の“被り”が発生して加速しやすくなる傾向があります(石塔シボリが絡む長手順の攻め合い等:アルファ碁vsイ・セドル五番勝負の第五局で検証するとわかりやすいです)。
user_com.png 道草 time.png 2021/10/30(Sat) 00:05 No.1208
Re: 分析速度について
1209図の配置13手目の局面から分析してみました。
Lizzie改良版で20万playouts、lizzieyzyで20万visitsとなるまでの分析時間の比較(2回ずつの平均値)です。
openclエンジンで
Lizzie改良版は4分20秒、lizzieyzyは5分46秒
TensorRTエンジンで
Lizzie改良版は3分40秒、lizzieyzyは4分52秒でした。
テスト中は他のすべてのアプリを閉じています。テスト後GPU-Zでみると負荷は1.3-1.4倍でした。

user_com.png Eba time.png 2021/10/30(Sat) 00:35 No.1209
Re: 分析速度について
再度検証頂き有難うございます。
Ebaさんのと同じ局面図を用いて、こちらは10万プレイアウトまたはvisitsになるまでの時間を計測してみました。
opclエンジンで
lizzie改良版で3分6秒、lizzieyzyで4分17秒 1.38倍
TensorRTエンジンで
lizzie改良版で1分59秒、lizzieyzyで2分48秒 1.41倍
Ebaさんの検証結果を計算してみたらどちらも約1.33倍でした。環境によって誤差はあるもののだいたい似たような数値になる感じですね。
GPUへの負荷は、クロック数で約1.5倍、消費電力も項目によってはかなりの差がありました。
lizzieyzyは高機能で素晴らしいソフトですが、せっかくのTensorRTの恩恵が半減してしまうのは残念です。改善バージョンがリリースされるかもしれませんので期待したいです。
ところで、Ebaさんは「テスト後GPU-Zで・・」と言われていますが、このアプリはリアルタイムの状況しか見れないような気がするのですが、過去の状況を確認する方法があるのでしょうか?

道草さん、情報頂き有難うございます。
アルファ碁対イセドルの第五局の石塔の局面を分析してみましたが、通常700~800visits/s程度なのが、石塔の局面だと瞬間的に5000visits/sになることもありました。分析速度を計測するときは、長手順の一本道みたいな局面は避けたほうが良いということでしょうか。
user_com.png hope366 time.png 2021/10/30(Sat) 03:05 No.1210
「テスト後GPU-Zで・・」
説明不足ですみません。
20万playoutsのテスト終了後も分析を継続したままGPU-Zを起動して測定したものです。
user_com.png Eba time.png 2021/10/30(Sat) 10:29 No.1211
Re: 「テスト後GPU-Zで・・」
なるほどそういうことでしたか。
了解しました。有難うございます。
user_com.png hope366 time.png 2021/10/30(Sat) 10:49 No.1212
Re: 分析速度について
1213hope366さん、検証ありがとうございます。

例えば実戦進行は図のABCDEF順なわけですが、これをEFABCDやABEFCDの順にする進行もけっこうな割合でAIは読んでいます。
この先で二子アテる場合も(どちらの割合も高く)図の被りが生じやすいので、visitの再利用はかなり頻繁に生じていると思われます。

厳密に再現される現象でないのが厄介ですが、「手順を変えても全く同じ局面になりやすい長手順」は避けた方がよさそうです。

user_com.png 道草 time.png 2021/10/30(Sat) 11:34 No.1213
Re: 分析速度について
hope366さんへ
lizzieyzy2.4.5よりlizzie改良版のほうが約1.5倍ほどの速度が出ると言われましたが分析速度は
そのうち修正されると思います TotalVisits20000 FirstVisits10000というような細かい指定が
GUI上から手軽にできる他 多くの便利な機能があります そろそろlizzieyzyをメイン使用に切り
替えてもいいのでは?
user_com.png odagaki0621 time.png 2021/10/30(Sat) 12:34 No.1214
処理 記事No 暗証キー

- JoyfulNote -