2020/12/24 17:06

この度、GPT2-Japaneseプロジェクトにおいて、small版のモデルを公開したのでお知らせします。


small版モデル(旧117Mモデル)は、12層のヘッダーとtransform層を持つモデルで、既に公開済みのmideumモデルよりもパラメーター数が少なく、軽いことが特徴です。


また、GitHub Sponsorにて、スポンサーの募集を開始しています。

GitHub Sponsorでのリターンには、camp-fireの時と同じものの他、camp-fireでは利用規約上不可能だった、独自コーパスの提供も含めています。


その他、要望の多かった、転移学習(ファインチューニング)用のコードも公開しました。

このファインチューニングコードは、以前から高額支援者様と共有していたコードとは別に、改めて作り直したものになります。

このコードを使って、独自のコーパスを使ってGPT2-Japaneseのモデルをファインチューニングすることが出来ます。


これからも、まだまだ色々なAIを作ってリリースしてゆく予定です!

largeモデルは来年3月頃、その後は独自のコーパスによる文章要約AIをリリース予定です。

引き続き、応援の程よろしくお願いします。

坂本


この活動報告が気に入ったら、
シェアしてみませんか?