皆様方にご支援頂いている、GPT-2日本語版作成プロジェクトにおいて、正式版のモデル（mediumモデル）がリリースされました。

リリース内容

お待たせしました！

皆様方にご支援頂いている、GPT-2日本語版作成プロジェクトにおいて、やっとmediumサイズのモデルのトレーニングが終わり、公開出来る運びとなりました。

今回公開するモデルが正式版のモデルで、以前のモデルはexperimentalなモデルという扱いになります。

学習させたデータは、コーパス2020の混合コーパスで、約21GB、5.3Gトークンを10Mイテレーション強学習させています。

GPT-2日本語版を試しに実行することが出来る、デモンストレーションサイトも近日中に公開する予定です。

これまでの成果

これまで、日本語版GPT-2は、最も小さな（性能の低い）パラメーター数117Mのモデルを使い、

・コーパスの違い（一般文章/Web小節）による生成文章の違い

・出力語彙数の違い（バイト単位/SentencePieceによる分かち書き）による生成能力の違い

によるモデルの評価を行い、最終的な学習方針を策定していました。

最終的には、コーパスは全ての文章を含んだ混合コーパスを使用し、語彙数はサブワード単位での学習を行える、日本語版BPEEncoderによる分かち書きを行うよう設定し、モデルの学習を行ってきました。

新モデルについて

新モデルでは、語彙数が変わったのに合わせて、出力層のlogits層が変更されています。

そのため、総パラメーター数も変化したため、以前のような（117M/345M/774M）という名称ではなく、（small/medium/large）という名前になりました。

今回リリースされたmediumモデルは、transformer層のレイヤー数が、16heads、20layersで、ノード数が1024のもの（旧345Mモデル）です。

また、新モデルに合わせて、文章生成を行う「gpt2-generate.py」ベクトル化を行う「gpt2-transform.py」プログラムも更新されています。

公開URL

新モデルを含んだ日本語版GPT-2は、これまで通り、GitHubのページで公開しています。

https://github.com/tanreinama/gpt2-japanese