Weblog

Rust言語やPythonで使用できる日本語で事前学習して、更にファインチューニングしたGPT2-1.3B大規模モデルを
HuggingFaceのTransformers Model Hubで公開した。
このjweb/japanese-soseki-gpt2-1bモデルはrinna社のモデルを、青空文庫の夏目漱石の小説を使ってファインチューニング。
Pythonだけではなく、Rust言語でも使える初めての日本語GPTモデルになるでしょう。
使い方はモデルハブにソースコードを公開しましたが、なにぶん5GBを超える大規模モデルなので、
最初の実行はモデルロードに結構時間がかかります。
次の実行からはキャッシュ化されるので、ロード時間は大幅に短縮されるでしょう。
実際に、"夏目漱石は、"と入力して実行するとランダムに以下のようにかなりちゃんとした文章が自動生成されました。

 夏目漱石は、明治から大正にかけて活躍した日本の小説家です。彼は「吾輩は猫である」や「坊っちゃん」、「草枕」「三四郎」、あるいは「虞美人草」などの小説で知られていますが、「明暗」のような小説も書いていました。

Jupyter Notebookでも試せます。