OpenAIが公開したGPT-2 モデルをベースにしてPytorch用の日本語事前学習モデルを作成した。 事前学習用の日本語コーパスにはjawikipediaと青空文庫を使用した。Ubuntu20.04上のPytorch 1.6で動作させた。GPT-2の文章生成用の導入フレーズとして以下の文章を使用した。 "私は三流小説家と言われているのは知っているが、小説家に一流も二流も、三流もない、小説を書くだけだ。批評家は嫌いだ。女も嫌いだ" 以下のように文章生成用コマンドでパラメータと導入フレーズを入力するとGPU使用で、数秒で文章を作成してくれる。run-rootフォルダに日本語Pre-trained modelが保存されている。
三流小説家(GPT-2 Japanese Pre-trained Model)

日本語音声コーパスJSUTを使用した、最新の音声生成、Multi-band MelGAN事前学習モデルが公開されたので、早速使ってみた。自前ではなかなか困難な、100万学習ステップの大規模なモデルなので、ありがたく使わせてもらいました。前回と同様に日本語テキスト解析にOpenJTalk、音響モデルにTacotron2を使用して、今回、音声波形変換VocoderにMelGANを使って比較した。結論として、より流暢な生々しい日本語を話すAIになったみたい。滑舌がよりなめらかになったのは、学習ステップの効果か。  
Tacotron 2 と Multi-band MelGANによる日本語音声生成

＊この記事の内容が少し古くなったので、AIによる自然言語処理に更に興味があるかた向けに記事を追加しました。＊人が書いたのと区別できないほどの文章を自動生成できると言われている日本語GPT2を初心者でも手軽にJupyter Notebookで試せます。＊GitHubにNotebookファイルがあるので参考にしてください。 BERTでの日本語処理方法を、手軽にJupyter Notebookで試せるようにした。東北大学の研究室で公開している、訓練済み日本語BERTモデルがTransformersで利用できるようになって、かなり使いやすくなった。使い方を、私を含めたBERET初心者にもわかりやすいようにサンプルを作ってみた。
日本語BERTをJupyter Notebookで試す

Googleの最新のDeepLearningによる自然言語処理技術BERTの日本語対応が進んでいる。PyTorch版はhuggingface/transformersで活発に移植、開発されている。日本語BERTをEncoderとするChatbotの作成方法がGithubに挙がっていたので、これを参考にしてテキスト入力された質問を、日本語音声で回答するChatbotを作ってみた。日本語音声は以前作った、Wavenetによる日本語音声の生成を活用している。
日本語BERTで音声Chatbot

最近のスマホで"OK Google"などで呼び出せる音声アシスタントの日本語音声が自然な感じで話すようになった。この音声もGoogle APIを使って利用できるらしいが、せっかくなのでGoogle APIに頼らずに自前で作成してみた。Google傘下のDeepMind社が発表したWavenetなどのDeep learningによるWaveGANで、自然な感じに話せる日本語AIをPyTorchなどを使ってトライした。
Wavenetによる日本語音声の生成

Ubuntu20.04LTSがリリースされたので、早速、最新版のPytorch1.5をインストールして使ってみた。 Pytorchはpip3でインストールするので、まずpip3をインストールしてtorchその他をインストール。 sudo apt updatesudo apt install python3 python3-pippip3 install torch torchvisionpip3 install tensorflow-gpu tensorboard これで、pytorch1.5, tensorflow2の最新版がインストールされた。
Ubuntu 20.04でPyTorch 1.5を使う

PythonはAI開発に便利なプログラミング言語だが、ライブラリが充実しているので色んな用途にも便利だ。今回、Webサーバーのデイレクトリやファイルを管理するためのプログラムをPythonで書いてみた。 JoomlaやWordpressなどのCMSでWebサイトを管理するためにセキュリテイ上重要なことはドキュメント・ファイルに実行権限を与えないことだ。これはその他のソフトや、ダイレクトにHTMLで書くWebサイト管理にも当てはまるだろう。Joomlaのフォルダーとファイルのパーミッション設定php,  javascript, pythonなどのインタープリター言語は、本体のプログラムがスクリプトファイルを読み込んで実行するので、ファイルの実行権限は不要（当たり前か）。ホームページのDOCUMENT_ROOT下の権限設定は、Ubuntu系のapache2の場合は以下の設定ファイルで確認できる。/etc/apache2/envvars # Since there is no sane way to get the parsed apache2 config in…
PythonのPathLibを使ってファイル管理