過去ログ [ 0001 ]
過去ログ:
ワード検索: 条件: 表示:
Page: | 1 | 2 | 3 |
KataGoの新機能「GraphSearch 」 投稿者:hope366 投稿日:2022/02/07(Mon) 00:55 No.117

Lizzieyzyのdefault_gtp.cfgの最後のところに、useGraphSearch = trueというのがあります。
これは、KataGoの開発中の最新版のソースコードに適用されている機能で、既存の木探索の代わりに適用され、ある変化で好ましくない結果が得られた場合、別の変化で再びその変化が探索されないようにすることで効率化が図られる、といったようなものであるようです。
https://github.com/lightvector/KataGo/pull/591
最新のLizzieyzyに同梱されているKataGoは、KataGoの次期バージョンで適用されるであろう、この新しい機能が実装された最新版1.10.0よりもさらに優れたKataGoのようです。
Lizzieyzyを通して最新のKataGoを使用できるのは有難いことですね。

現在公開されているKataGoの最新版1.10.0と、Lizzieyzyに同梱されている超最新版のKataGoでどれだけのElo差があるのか?検証してみたら面白いかもしれません。

Re: KataGoの新機能「GraphSearch 」
理屈はよく分かりませんが、モンテカルロ木探索の途中で探索を省略できるようになったということでしょうか?
Lizzieyzy日本語3を使うのが楽しくなってきました(笑)
Eba   2022/02/07(Mon) 23:28 !email! No.118 !ico_edit!
Re: KataGoの新機能「GraphSearch 」
katago1.10.0の新版と旧版を各100戦させてみました
全て 1手5秒 NW40b s1110 日本ルール(6.5コミ) 左が新版

GTX 1060(3G) OpenCL 49-51
GTX 1070   OpenCL  53-47
RTX 3070   TensorRT 49-51
odagaki0621   2022/02/09(Wed) 10:57 !email! No.119 !ico_edit!
40ブロックと60ブロックの比較 投稿者:hope366 投稿日:2022/01/23(Sun) 11:45 No.94

Discordで比較実験の結果が投稿されていたので、翻訳してこちらに転載します。

40b-s1056 vs 60b-s502、GPU 3x3080
結論:40bは大幅に強力です

総対局数=275 結果 40b-168勝 60b-107勝 40bの勝率=61.09%

エンジン1(40b)
168勝(内訳: 黒72勝 白96勝)トータル消費時間:27885.932秒 総訪問数: 481152384
エンジン2(60b)
107勝(内訳: 黒41勝 白66勝)トータル消費時間: 27771.12秒 総訪問数: 238208676
1手あたりの平均訪問数:60b-13.226K、40b-26.714K

40b-s1056 vs 60b-s502、GPU 3x3080
結論:40bはわずかに強いですが、テストは不十分です

総対局数=103 結果 40b-56勝 60b-47勝 40bの勝率=54.37%

エンジン1(60b)
47勝(内訳: 黒18勝 白29勝)トータル消費時間:42869.97秒 総訪問数:592864870
エンジン2(40b)
56勝(内訳: 黒22勝 白34勝)トータル消費時間:42993.83秒 総訪問数:1092141850
1手あたりの平均訪問数:60b-55.3K、40b-101.6K

この傾向に従って、60bの場合は約200k(40bの場合は400k)で、60bは40bよりも強力になる可能性があります。

60bで一手20万回の探索は時間がかかりすぎるので、まだまだ40bのほうが有用性が高いと言えそうです。

Re: 40ブロックと60ブロックの比較
Lizzieyzy-Japanese-pre2 でエンジンを katago_2021102_trt64.exeとして
黒を kata1-b40c256-s10962542848-d2672348390.bin.gz numSearchThreads = 48 訪問数 = 400K
白を kata1-b60c320-s5296522496-d2660440096.bin.gz numSearchThreads = 20 訪問数 = 200K
でやってみました。
この訪問数では黒の1手が約300秒、白の1手が約280秒でした。
つまり1局 300手とすると終局までに24時間かかります。さすがに無理だと思いましたがほぼ決まった手順(図の16~19手)ではノータイムで進むので思案中です。(笑)
Eba   2022/01/23(Sun) 18:00 !email! No.96 !ico_edit!
Re: 40ブロックと60ブロックの比較
終局するまでやってしまいました(笑)
211手まで黒の中押し勝ち、対局時間約5時間でした。
棋譜は共有してこちらにあります。
http://lizzieyzy.cn/?qp=%2Fhebaeba%2F20220123%2F20220123212334105

途中まで白が優勢でしたが白184手が30%以上の勝率ダウンという大悪手。考慮時間が長いこういう対局でも悪手が出るのは不思議です。
Eba   2022/01/23(Sun) 22:30 !email! No.97 !ico_edit!
Re: 40ブロックと60ブロックの比較
5時間の対局お疲れ様でした。
白182でC-6とあてた手が-32.5%となっていますが、50K程度の探索だとF-7にコスミつける手が最善になっています。
私から見たら神のような領域なので何が起こっているのかさっぱりです。プロ棋士に解説してもらえたら面白そうですね。

共有機能はこういう場合にいい感じですね。
hope366   2022/01/23(Sun) 22:53 !email! No.98 !ico_edit!
Re: 40ブロックと60ブロックの比較
hope366さんへ katago1.10.0opclの40bNWs1110と60bNWs551を
1手5秒 numSearchThreads = 40で100戦させた (GPU RTX3070)

60bNWs551 51-49 40bNWs1110
odagaki0621   2022/02/04(Fri) 10:42 !email! No.99 !ico_edit!
Re: 40ブロックと60ブロックの比較
このスレの冒頭で紹介した40b-s1056と60b-s502と、
odagaki0621さんの検証で使用した40b-s1110と60b-s551
これらを比較するとEloの差的には大きな違いはありません。
3070がどの程度の速さなのか知りませんが、一手5秒なら40bで10kまではいかないと思います。

40bが一手あたり26.7k、60bが一手あたり13.2k
これで、40bが168勝、60bが107勝

このDiscordの検証結果とodagaki0621さんの40bが49勝、60bが51勝というのは、だいぶかけ離れています。
一手あたりの訪問数の比率が40b:60b=約2:1、これよりも60bがかなり有利になっていませんか?
hope366   2022/02/04(Fri) 17:38 !email! No.100 !ico_edit!
Re: 40ブロックと60ブロックの比較
3回目の実行の最強40b-s509と分散トレーニング最強40b-s1110の強度を検証した結果です。エンジンは明記してませんが、おそらく最新の1.10.0だと思います。
hope366   2022/02/04(Fri) 17:45 !email! No.101 !ico_edit!
Re: 40ブロックと60ブロックの比較
hope366さんへ 最初numSearchThreads = 6で30戦ほど対戦させたが40bNWs1110が かなりリードしたので
numSearchThreads = 40に変更して100戦させたら ほぼ互角の結果になりました 下記が対戦dataです

総対局数: 100 結果: 49:51 勝率: 49.00%

最初のエンジン((OpenCL)Kata1-40S1110):
全体での勝ち数 : 49 黒番での勝ち数 : 48 白番での勝ち数: 1 トータル消費時間 15903.585 秒 トータル訪問数: 42216240
2番目のエンジン((OpenCL)Kata1-60S551):
全体での勝ち数 : 51 黒番での勝ち数 : 49 白番での勝ち数: 2 トータル消費時間 15931.686 秒 トータル訪問数: 6864001
odagaki0621   2022/02/04(Fri) 19:54 !email! No.102 !ico_edit!
Re: 40ブロックと60ブロックの比較
トータル訪問数の数値が40bと60bでだいぶ差があるように見えますが、40bと60bで異なる設定を使用していますか?
私の環境では60bの速度は40bの半分よりやや遅いくらいです。ファイルサイズからしてこのくらいが妥当だと思います。冒頭の検証結果も似たような感じになっています。
odagaki0621さんの場合は、40bの訪問数が60bの6倍強あります。私にはこれが不可解です。
冒頭での検証結果からすると、訪問数に約2倍の開きがあれば40bがやや有利のようです。しかるにodagaki0621さんの場合は、訪問数に約6倍強の開きがあるにも関わらず五分五分の結果になっています。これも不可解です。これだけの訪問数の違いがあれば、40bが圧倒的に有利なってしかるべきだと思いますがどうでしょうか?

次に、黒番での勝ち数が97に対して、白番での勝ち数が3しかありません。これも気になります。
日本ルール、コミ6.5目での検証でしょうか?
hope366   2022/02/04(Fri) 20:30 !email! No.103 !ico_edit!
Re: 40ブロックと60ブロックの比較
hope366さんへ  変則的な対戦結果になった理由が わかりました 添付画像の様に最小手数を60手に短縮し
勝率の下限値を10%に設定したため秒数指定の場合 1手ごとに勝率が大きく振れるnumSearchThreads = 40
では63手付近で勝敗が決定してしまったようです 尚 tv(最大訪問数)指定では40でも問題無いようです
お騒がせしました
odagaki0621   2022/02/04(Fri) 23:53 !email! No.104 !ico_edit!
Re: 40ブロックと60ブロックの比較
> 1手ごとに勝率が大きく振れるnumSearchThreads = 40
では63手付近で勝敗が決定してしまったようです

この意味がよく分かりません。numSearchThreadsが40だと何故1手ごとに勝率が大きく振れるのですか?
黒番での勝ち数が異常に多いこととの関連性も、もし分かるようでしたら教えて下さい。
hope366   2022/02/05(Sat) 00:43 !email! No.105 !ico_edit!
Re: 40ブロックと60ブロックの比較
hope366さんへ  何故numSearchThreads = 40に設定すると添付画像の様に左上の勝率メーターが大きく振れるのか
わかりました テキストエディタの表面に現れない書き込みエラーのようです この文章の下書き等 メイン使用は
サクラエディタというアプリですが 検索がしやすいのでdefault_gtpのみMeryというアプリを使用していますが その
Meryで表面に現れない書き込みエラーが発生したようです 40を6に戻しても勝率が大きく振れるので間違いないです
サクラエディタでは40でも問題が発生しない事が確認されましたのでdefault_gtpもサクラエディタで書き込みます
ご迷惑をおかけしました
odagaki0621   2022/02/05(Sat) 17:03 !email! No.106 !ico_edit!
エディターで違いが?
odagaki0621さん
テキストエディターでdefault_gtp.cfgを書き直して異常が出ることは普通ありません。
「Mery」というエデイターは多くのプラグラム言語やスクリプト言語に対応しているようですが、数値を書き直したdefault_gtp.cfgに何かMery独自のヘッダなどが書き加えられているのでは無いですか?
cfgファイルの書き換え程度のことならメモ帳でも十分と思います。
Eba   2022/02/05(Sat) 17:48 !email! No.107 !ico_edit!
Re: 40ブロックと60ブロックの比較
odagaki0621さんの添付画像では、石を2個並べた状態で黒の目差が-17.2目になっています。
どのような変更を加えたらそのようになるのでしょうか?もし分かるようでしたら教えて下さい。
cfgファイルの編集については、Ebaさんが言われるように私もWindowsのメモ帳で行っています。
hope366   2022/02/05(Sat) 19:39 !email! No.108 !ico_edit!
Re: 40ブロックと60ブロックの比較
hope366さんへ numSearchThreads = 40に書き換えてMeryで書き込んだだけです
40を6に戻しても勝率が大きく振れます Meryの表面に現れない書き込みエラー
のようです
odagaki0621   2022/02/05(Sat) 19:51 !email! No.109 !ico_edit!
Re: 40ブロックと60ブロックの比較
気になったのでMeryをインストールして、Meryでcfgファイルのスレッド数を変更してエンジン同士を対戦させてみましたが、普通に黒の勝率48.2%くらいからスタートしました。
hope366   2022/02/05(Sat) 20:15 !email! No.110 !ico_edit!
Re: 40ブロックと60ブロックの比較
問題のファイルをアップロードしましたので興味ある方はチェックしてレポートをください
DL期限は3日間 パスワード不要
http://dtbn.jp/qiCDfcpR
odagaki0621   2022/02/05(Sat) 20:42 !email! No.111 !ico_edit!
Re: 40ブロックと60ブロックの比較
原因が分かりました。
157行目
playoutDoublingAdvantage = -3.0
ここです。PDA=-3.0は最も守備的で悲観的なモードなので、スタート時で約-18目不利だと判断しています。
ここをデフォルトの
# playoutDoublingAdvantage = 0.0
にすれば元に戻ります。
hope366   2022/02/05(Sat) 21:02 !email! No.112 !ico_edit!
オリジナルのものと比較
CUDA版のdefault_gtp.cfgのようですね。
オリジナルのものと比較してみました。

52~54行
logAllGTPCommunication = false
logSearchInfo = false
logToStderr = true
オリジナルでは
logAllGTPCommunication = true
logSearchInfo = true
logToStderr = false
となっています。

65行
homeDataDir = KataGoData
オリジナルに無い行が追加されています。

71行
analysisPVLen = 50
オリジナルでは
# analysisPVLen = 15
となっていますがコメントアウトされています。

81行
analysisWideRootNoise = 0.0
オリジナルでは
# analysisWideRootNoise = 0.04
となっていますがコメントアウトされています。

157行
playoutDoublingAdvantage = -3.0
オリジナルでは
# playoutDoublingAdvantage = 0.0
となっていますがコメントアウトされています。

勝敗の結果がおかしくなったのはhope366さんご指摘のようにplayoutDoublingAdvantage = -3.0が主原因でしょうが、157行以外はLizzieYzy(2022-01-29-windows64)にあるdefault_gtp.cfgと同じもののようです。
Eba   2022/02/05(Sat) 21:41 !email! No.113 !ico_edit!
Re: 40ブロックと60ブロックの比較
hope366さんへ ありがとうございました指示通り修正したら正常になりました
その項目は書き換えた記憶がありませんが何かの記事を参考に書き換えたかもしれません
あらためてMeryは問題ないアプリだと訂正します
odagaki0621   2022/02/05(Sat) 22:42 !email! No.114 !ico_edit!
Re: 40ブロックと60ブロックの比較
odagaki0621さんのdefault_gtp.cfgは、160行以前はLizzieYzy(2022-01-29-windows64)に同梱されているものと同じです。
playoutDoublingAdvantage以外にもNo.113に書いたように幾つかの点がオリジナルと違います。
分析上それほど大きな違いは無いかもしれませんが、統計データを報告する場合はオリジナルと合わせる方が無難ではないでしょうか?
Eba   2022/02/05(Sat) 23:23 !email! No.115 !ico_edit!
分散トレーニングは60bに? 投稿者:Eba 投稿日:2022/02/05(Sat) 16:27 No.95

二、三日前からKataGoの分散トレーニングが60bばかりになりました。
これは40bのトレーニングは終了したと見ていいのでしょうか?
https://katagotraining.org/

AIがプログラムを書く時代 投稿者:Eba 投稿日:2022/02/03(Thu) 15:40 No.92

DeepMindが"AlphaCode"システムを発表。
AIによる高度な自動プログラミングの実現に一歩前進か。
https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode

大橋拓文七段が「AlphaCodeが書いた囲碁AIがAlphaGoを超え、するとAlphaCodeが書いたAlphaCode2が元のAlphaCodeを超えて無限進化ループが誕生するかも」と書いてますが、
https://twitter.com/ohashihirofumi/status/1489088871807655938
そうなると「シンギュラリティ」も近いかも知れません

Re: AIがプログラムを書く時代
DeepMind社のAlphaシリーズはこれまで
1、AlphaGo:囲碁の世界チャンピオンに勝利
2、AlphaZero:囲碁・将棋・チェス全てのAIに勝つ
3、AlphaStar:StarCraftのGrandmasterに勝利
4、AlphaFold:立体構造予測コンテストで圧倒的トップ
と発展してきました。それに比べて今回は「人間の平均を超えた」という論文なので、インパクトは小さいですが、そのうちAlphaCodeで競技プログラミングコンテストで圧倒的な成績だったと発表するかも。
Eba   2022/02/04(Fri) 10:29 !email! No.93 !ico_edit!
Baduk AIの導入説明 投稿者:Eba 投稿日:2022/01/30(Sun) 20:11 No.88

AIの導入方法にスマホ用囲碁AIの欄を作りました。
まだBaduk AIのみです。
https://www.h-eba.com/Lizzie/mobile.html#01

使いこなせばさらに多くの機能がありそうです。
文中で追加・修正等ありましたらお知らせください。

Re: Baduk AIの導入説明
Ebaさん、
さすがに取説には慣れていませね。
分かりやすいと思います。
kimura   2022/01/31(Mon) 21:28 !email! No.89 !ico_edit!
Re: Baduk AIの導入説明
kimuraさん、ありがとうございます。
私はスマホ関係には疎いので、また何か新しい囲碁AIがありましたらご紹介ください。
Eba   2022/01/31(Mon) 21:34 !email! No.90 !ico_edit!
Re: Baduk AIの導入説明
Ebaさん、
自宅のGPU付きパソコンをレンタルGPU同様に、Lizzie 並のインターフェースで、簡単に動作し表示させるアプリが欲しいですね。
kimura   2022/01/31(Mon) 21:49 !email! No.91 !ico_edit!
「Baduk AI」 という Android アプリ 投稿者:kimura 投稿日:2022/01/27(Thu) 12:02 No.81

「Baduk AI」 という Android アプリがあります。
https://play.google.com/store/apps/details?id=net.kir.baduk_ai&hl=ja&gl=US

スマホならではの機能があります。
カメラで碁盤を撮影し局面を取り込み、解析する機能です。
https://corestoryofgo.seesaa.net/article/485283299.html

エンジンは、デフォルトで KataGo 10b,20b, Leelazero 15b,40b が入っていて、
好きな network を 追加できるので、ほぼ、Lizzie のようです。

製作者のAndreas Kirmseさん曰くAndroidで最初にKatagoをネイティブ実装したとのことです。

Re: 「Baduk AI」 という Android アプリ
kimuraさん、貴重な情報をありがとうございます。スマホの世界も日進月歩のようです。
「詰碁を解くために局所的な領域に限定して分析することも可能」
kaTrainなどにある分析領域指定機能ですね。私個人としてはこれが最も期待するところです。

ところで、この記事を[AIの新着情報掲示板]にも紹介したいと思います。
新しい囲碁AIの紹介記事はパソコン、スマホに限らずあちらで紹介するのが良さそうですから。
Eba   2022/01/27(Thu) 12:24 !email! No.82 !ico_edit!
Re: 「Baduk AI」 という Android アプリ
Ebaさん、そうされてください。
スマホのCPUは、現状では未だ未だですが、近い将来にはA100(GPU)を超える
チップが開発され実装されるのは間違いない未来でしょうから。
kimura   2022/01/27(Thu) 12:52 !email! No.83 !ico_edit!
Re: 「Baduk AI」 という Android アプリ
ebaさん
その後に追加情報が少し寄せられたので、紹介いたします。
スマホで写真を撮って、局面を取り込みアプリは、
「星陣囲碁」(Android版、i-Phone版)
「阿Q围棋」(Android版)等があるようです。

「詰碁を解くための分析領域指定機能」では、 anago が優秀という評価です。
写真で見る限りでは、10,977k という驚異的な visit数を叩き出しています。
kimura   2022/01/29(Sat) 16:15 !email! No.84 !ico_edit!
囲碁アプリ
kimuraさん、情報をありがとうございます。
囲碁AIも最近はスマホに移植されて動いているようで、スマホ版も紹介しないといけないのでしょうが、私はそちらの情報はほとんど知りません。
とりあえず、スマホ版囲碁AIの紹介ページを作って[Baduk AI]の導入方法を紹介しようと思います。
ところで
>>「詰碁を解くための分析領域指定機能」では、 anago が優秀という評価です。
この anagoとはアプリなのでしょうか? 初めて聞いた名前ですし、検索しても見つからないので教えてください。
Eba   2022/01/29(Sat) 16:46 !email! No.85 !ico_edit!
Re^2: 囲碁アプリ
ebaさん
「anago」は、KataGo を使ったクラウドサービスのようです。
基本は有料なので、ここで詳しく紹介するものでは無いかもしれません。
GPU付きのPCなら動作するようです(ここまでは無料???)が、
「リモートクラウドコンピューティングの追加により、2080ti、3090、V100、
A100のさまざまなグラフィックカードを1枚から8枚のカードから選択でき、弱い
マシンは数秒で強いマシンになることができます。」(これが有料サービス?)
GPUを追加して使用するシステムのようです。
未だ、実際に使用してないので、詳しくは分かりません。
「新款围棋ai软件anago对弈分析复盘cline连线卡塔狗katago连云计算」
https://m.tb.cn/h.fORH7rl?sm=618594?tk=k3q522Gmfrh
kimura   2022/01/29(Sat) 21:26 !email! No.86 !ico_edit!
Re: anago
kimuraさん、なるほど。
スレの流れからスマホ専用なのかと思ってました。anagoはクラウドサービス専用のソフトのようですね。
A100×8なら、普通のマシンがかなうはずありません。詰碁も得意でしょう。
有料では、ここで紹介する対象にはならないので残念ですがご紹介ありがとうございました。
Eba   2022/01/29(Sst) 22:52 !email! No.87 !ico_edit!
直近の KataGo対局に現れた実戦死活 投稿者:kimura 投稿日:2022/01/28(Fri) 08:21 No.79

直近の KataGo対局に現れた実戦死活(Black to play)

黒:KataGo from zhixing Cloud
4 x A100-PCIE-40G GPUs engine 1.90 28 threads CPU, internal storage 128
speed - averaged:8000~20000 v/s on 40 block engine
(昨年の世界AI囲棋大会に出場した、KataGoのカスタマイズVersion)

白: KataGo from Zcloud
8 x 3090 GPUs Katago 40b s1075 network
speed -averaged:10000~80000 v/s on 40 block engine.
(現在の trongest に近い netwowk を8枚の TX3090 上で)

 双方の KataGo は、この状態で手抜きをしてますので、死活を読み切ってる
と思われますが、黒先でどうなるのでしょうか?

下記は棋譜です。
https://youtu.be/XLSvg1qq9SM

Re: 直近の KataGo対局に現れた実戦死活
実戦死活問題
せっかく優秀なAIを持っているのですから、
68手目までの局面を読み込ませて、
候補となる10か所程度に着手させて、分析させれば解決するでしょう。
辺の後手1眼が奪えない形なんですね。
小生は、そのようにAIを活用して研究しているのですが、
本サイトの常連さんから、このようなテーマの質問があって、驚きです。
実戦で、自信を持って手が抜けたら、アマ4D程度でしょうかねえ。
初心者   2022/01/29(Sat) 09:42 !email! No.80 !ico_edit!
katagoのmax29路版探索部の棋力について 投稿者:odagaki0621 投稿日:2022/01/23(Sun) 20:32 No.76

普段max19路版を使用している人がほとんどだと思いますが無視されていると思われるmax29路版を
max19路版と各100戦させて実力をチェックしてみた tv(最大訪問数)はLizzieyzy mvはGoGuiTool
katago1.10.0 40bを使用 結果 ほとんどmax29路版が勝ち越した katagoのページに29路版は19路
でもメモリを余分に消費していると書いてあったので その効果か 左側が29路版

OpenCL s1059 tv2000 53-47 mv2000 51-49
OpenCL s1080 tv2000 56-44 mv2000 51-49
TensorRT s1080 tv2000 48-52(numSearchThreads = 16)

Re: katagoのmax29路版探索部の棋力について
対局数が500の場合(有意水準=0.05)
{√(0.25/500)×1.644854}+0.5=53.68%

対局数が100の場合(有意水準=0.05)
{√(0.25/100)×1.644854}+0.5=58.22%

久しぶりに計算したのでこれで合ってるかどうか不明です。
hope366   2022/01/23(Sun) 21:20 !email! No.77 !ico_edit!
Re: katagoのmax29路版探索部の棋力について
対戦結果に有意差が無いのは承知しています 29路版が19路版に棋力で
負けていないということを皆さんに周知するために投稿しました
odagaki0621   2022/01/23(Sun) 21:37 !email! No.78 !ico_edit!
分散トレーニングの便利機能 投稿者:hope366 投稿日:2022/01/18(Tue) 16:02 No.62

分散トレーニングのちょっとした便利機能をdiscordで教えて頂きました。
この機能を使うにはコマンドラインから実行する必要があります。

事前にcontribute_example.cfgをメモ帳等で開いて、次の3つの項目を適切に設定しておきます。
・username = Fill in your username here
・password = Fill in your password here
・maxSimultaneousGames = Fill in a number here
maxSimultaneousGames(同時対局数)は、ハイスペックのGPUなら24や36などの大きな数値が効率的に良いと思われます。
私は2060で「16」にしています。

次にコマンドプロンプトでkatago.exeがあるディレクトリに移動して、次のコマンドを実行します。
「katago contribute -config contribute_example.cfg」

Maybe predownloading model ...
このメッセージの後しばらく画面が止まったままになりますが、タスクマネージャーでCPU使用率の数値を確認して、普段よりも高い数値で推移しているならおそらく正常に実行されていますのでそのまま放置しておきます。
i7 9700 8コア8スレッド RTX2060
このスペックで同時対局数を16にした場合、約28分ほど待たされました。

コマンドラインから実行した場合、「Ctrl+C」を使った便利な機能があります。
終了したい場合に「Ctrl+C」を実行すると、次のようなメッセージが表示されます。
Signal to stop (e.g. ctrl-c) detected, KataGo will shut down once all current games are finished. This may take quite a long time. Repeat a second time to stop without finishing current games.
そのまま放置しておくと、「進行中の対局が終わり次第自動的にシャットダウン」となります。
放置せずに2度目の「Ctrl+C」を実行すると、強制的にシャットダウンとなります。この機能により未完成の対局を無駄にすることなく、きりのよいところで終了することができます。

KaTrainやLizzieyzyには、この機能はおそらく無いと思います。

Re: 分散トレーニングの便利機能
それは良いことを聞きました。Lizzieyzyを起動して[貢献]メニューから実行する場合、常に画面に進行した盤面が表示されていますので、けっこう煩わしいです。(着手音は消せば良いですが)
LizzieYzyの使い方にも記入したいと思います。

ついでに質問です。
分散トレーニングではさまざまなルールがランダムに現れます。また碁盤の大きさも19路だけではありません。こういうのでトレーニングになるのでしょうか?
また、コマンドプロンプトでトレーニング実行中にLizzieyzyを起動してもいいのでしょうか?
Eba   2022/01/18(Tue) 17:28 !email! No.63 !ico_edit!
Re: 分散トレーニングの便利機能
ルールやボードサイズに関しては、ここでいくらか討論されているようです。
https://github.com/lightvector/KataGo/issues/454
コマンドプロンプトとLizzieyzyの同時起動は、パソコンに余力があれば特に問題は無いと思います。
hope366   2022/01/18(Tue) 19:21 !email! No.64 !ico_edit!
Re: 分散トレーニングの便利機能
なるほど。さまざまなルール、ボードサイズをひっくるめてのトレーニングなんですね。
貢献者リストの自分の順位を見るとやる気が出てきます。(笑)
https://katagotraining.org/contributions/
Eba   2022/01/19(Wed) 03:13 !email! No.65 !ico_edit!
Re: 分散トレーニングの便利機能
だいぶ引き離したつもりでしたが、あっという間に追いつかれてしまいました・・
まあ競争しているわけではありませんが(笑)
hope366   2022/01/19(Wed) 03:13 !email! No.66 !ico_edit!
皆さんも参加しませんか?
私は起きるとパソコンを起動し、寝るまで電源を入れっぱなしです。
なので、使用していない時間が大量にあるので、コマンドラインで参加できるのは大変にありがたいです。普通のパソコン作業は同時にできますので、囲碁AIを動かすとき以外はほぼ1日中参加していることになります。
貢献者リストのTraining Rowsの値は、i7-8700 RTX 2080 6core 12Processorのスペックで、18同時対局にして、時間当たり約2400rowsになります。
この数字は1時間トレーニングに参加するだけでかなり上に行きますね。
https://katagotraining.org/contributions/

LizzieYzyを利用している皆さんも参加してみませんか? 必ず名前がリストに載ります。まだ参加者が少ないので世界ランキングの中で上位に来れば気持ちが良いですよ(笑)
やり方は以下をご覧ください。
https://www.h-eba.com/Lizzie/LizzieYzy/submanual.html#yzy9
Eba   2022/01/19(Wed) 14:17 !email! No.67 !ico_edit!
Re: 分散トレーニングの便利機能
私の環境ではこんな感じです。
・CPU i7-9700 8コア8スレッド 3.00GHz-4.70GHz
・GPU RTX2060 6GB
・同時対局数=16
この条件で先ほど115分ほど稼働したら2836rowsでした。
1時間あたり約1400rowsです。
Ebaさんのと比べると約58.3%の仕事量です。GPUだけで見ると69%が想定されるので、CPUでもEbaさんの方がやや上回っているかもしれません。
8コア8スレッドより、6コア12スレッドのほうが上ということは、掛け算みたいな感じでしょうか?
次回、同時対局数を18にして数値を観察してみたいと思います。
hope366   2022/01/19(Wed) 16:18 !email! No.68 !ico_edit!
測定しなおしました
最初に測定したのはin the last 24hですが、測定するたびに値が変動するのでin the last week
で測定しなおしました。時間当たり約2000rowsが正確な値です。

https://katagotraining.org/contributions/
24hは過去24時間、last weekは過去168時間の貢献値を表しているようですが、リストアップするタイミングなのか、あまり正確では無いですね。私はこのアカウントで3日前から始めたのですが、across all timeがlast weekより僅かに小さい値です。
Eba   2022/01/20(Thu) 11:12 !email! No.69 !ico_edit!
Re: 皆さんも参加しませんか?
TensorRT版を使用して、261分の実行で9474rows、1時間あたり2178rowsでした。
TensorRT版は、通常の分析でもOpenCL版やCUDA版と比較して約1.5倍の速度が出ますが、分散トレーニングでもほぼ同じ倍率になりました。
hope366   2022/01/20(Thu) 04:21 !email! No.70 !ico_edit!
Re^2: 皆さんも参加しませんか?
hope366さんへ"TensorRT版は、通常の分析でもOpenCL版やCUDA版と比較して約1.5倍の速度が出ます"と
書き込んでおられますが それはdefault_gtpのnumSearchThreads = 16とnMaxBatchSize = 8のhope366さんの
お勧めのターボモードでの結果ですか
odagaki0621   2022/01/21(Fri) 17:59 !email! No.71 !ico_edit!
Re^3: 皆さんも参加しませんか?
odagaki0621さん
その2つのパラメータについては、私は普段下記の設定にしています。
numSearchThreads = 16
# nnMaxBatchSize = <integer>
この設定でTensorRT版はOpenCL版の約1.5倍の速度です。
hope366   2022/01/21(Fri) 19:56 !email! No.72 !ico_edit!
KataGoの各バージョンの速度
TensorRT版のベンチマークテストで無指定だと16スレッドが推奨されますが、v3000で実行したら40スレッドが推奨されました。

40スレッドでの数値(visits/s)i7 9700 8コア8スレッド RTX2060
TensorRT 1150前後 useFP16 = true
OpenCL 450前後 FP16Storage true FP16Compute false FP16TensorCores false
CUDA 750前後 useFP16 = true useNHWC = true
Eigen 2(1スレッド)
EigenAvx2 3(1スレッド)

OpenCL版に関して、以前はTensor-coreで動いていてCUDA版とほぼ同じ速度でしたが、最新のKataGoだと認識しないみたいでCUDA版よりだいぶ遅いです。
hope366   2022/01/23(Sun) 11:37 !email! No.73 !ico_edit!
Re: KataGoの各バージョンの速度
hope366さんへ "v3000で実行したら40スレッドが推奨されました。"と言われましたが それは
numSearchThreads = 40にするということですか? それとv2000時の推奨スレッド数は わかりますか?
odagaki0621   2022/01/23(Sun) 18:57 !email! No.74 !ico_edit!
Re^2: KataGoの各バージョンの速度
>"v3000で実行したら40スレッドが推奨されました。"と言われましたが それは
numSearchThreads = 40にするということですか?

v3000で実行したら40スレッドが推奨されたので、numSearchThreads = 40に設定した、ということです。


推奨スレッド数はPC環境によって違ってくるので、v2000での最適値を知りたいのであれば自分のPCでベンチマークテストを行うのがよいと思います。
hope366   2022/01/23(Sun) 19:29 !email! No.75 !ico_edit!
katagoCPU版でのトレーニング 投稿者:Eba 投稿日:2022/01/22(Sat) 16:13 No.61

KataGoのCPU版でトレーニングに参加してみました。パソコンのCPUはi7-8700で、同時対局を2にしてやったところ、2局終了するのにかかった時間は以下でした。
katago-v1.10.0-eigen-windows-x64 は12時間ほど
katago-v1.10.0-eigenavx2-windows-x64 は6時間半ほど
やはり40ブロックネットをCPU版でトレーニングするのは厳しいようです。

Page: | 1 | 2 | 3 |

- Joyful Note -
- Smart Board Type-G v2.1 -
++ Edited by TRANSFORM ++