この度、GPT2-Japaneseプロジェクトにおいて、small版のモデルを公開したのでお知らせします。

small版モデル（旧117Mモデル）は、12層のヘッダーとtransform層を持つモデルで、既に公開済みのmideumモデルよりもパラメーター数が少なく、軽いことが特徴です。

また、GitHub Sponsorにて、スポンサーの募集を開始しています。

GitHub Sponsorでのリターンには、camp-fireの時と同じものの他、camp-fireでは利用規約上不可能だった、独自コーパスの提供も含めています。

その他、要望の多かった、転移学習（ファインチューニング）用のコードも公開しました。

このファインチューニングコードは、以前から高額支援者様と共有していたコードとは別に、改めて作り直したものになります。

このコードを使って、独自のコーパスを使ってGPT2-Japaneseのモデルをファインチューニングすることが出来ます。

これからも、まだまだ色々なAIを作ってリリースしてゆく予定です！

largeモデルは来年3月頃、その後は独自のコーパスによる文章要約AIをリリース予定です。

引き続き、応援の程よろしくお願いします。

坂本