お待たせしました！

皆様にご支援いただいた、「GPT-2日本語版」において、ついに、最大サイズとなるLargeモデルが公開されました！

Largeモデルは、20ヘッダー＋36階層で1280次元の埋め込みベクトルと、大変に巨大なモデルです。

このサイズになると、学習のための時間も膨大になり、皆様のご支援と応援がなかったら、とても作ろうとも思わなかったと思います。

現時点において、フリーで利用できる日本語の言語モデルとして、おそらく最大サイズのものではないかと考えております。

使用したGPUのメモリ制限から、AdamではなくAdagradアルゴリズムで学習させたため、まだ完全なLargeモデルの性能には到達していない可能性がありますが、text2text等のファインチューニングで使用するベースモデルとして、高度な日本語能力をAIに与えるモデルとなっております。

また、本日、別のBERTベースのAIで、『text2importance-japanese』も公開しました！

こちらは、長い文章から、その全体の意味に対する重要度を、センテンス毎に求めるAIモデルです。 

重要度の高いセンテンスを取り出せば抽出型要約AIとして、逆に重要度の低いセンテンスを取り除けば長文フィルターとして使えます。

また、長さの異なる文章を、意味を損なわずに同じくらいの長さに揃えるなどの用途にも使えます。

GPT-2日本語版、RoBERTa日本語版、text2text等のモデルを公開して、ようやく、やりたいことに対する道具立てが整ってきた、という感じがします。

『text2importance-japanese』 は、そうやって揃えてきた道具を使って初めて作成することが出来た、応用レベルのAIだと思います。

これからも、日本語を使ったAIを鋭意作成してゆく予定です！

引き続き応援よろしくお願いします！