最近は、Raspberry PiやJetbot nanoが入手困難なためか価格高騰しているので、DIYロボット制作に使いずらくなった。その代わりにArduinoでロボットカーをカスタム制作してみた。4WDでタイヤはメカナムホイール(Mecanum Wheel)だ。全方向性に移動できるタイヤで、前後左右、真横や、斜め直進もできる。このスマートカーを、スマホのBT(Bluetooth)接続で、英語は勿論、日本語音声入力でも制御出来るようにした。 スマホのBTアプリを使って、"前"、"後ろ"、"左横"、"右横"、"止まれ"などと喋ると動作してくれる。ソニックセンサーを使って障害物を回避して、自動走行もできる。スマホに向かって"障害物回避"又は"安全運転"と喋るだけで自動走行をする優れものだ。また、"道路"又は"道"と喋ると、黒い線を道路と見立てて走行してくれる。 Raspberry PiやJetsonを使わなくても、Arduinoだと手頃なコストで実現できた。
スマホの日本語音声で制御するスマート4WDロボットカー

日本語で事前学習して、ファインチューニングしたGPT2の威力を、手軽にJupyter Notebookで試せるようにした。以下のコードをNotebookにコピペして実行すると入力した導入フレーズを元に自動的に文章を作成します。以下の例の導入フレーズは、"夏目漱石は、"です。青空文庫の夏目漱石作品集で特別にファインチューニングしたので、漱石好きにはたまらない文章が生成されるかも知れません。大規模なGPTモデルなので、最初のモデルロードにかなり時間がかかります。このJupyter Notebook用のファイルはGithubに上げといたのでここからダウンロードできます。jweb_gpt2.ipynb----------------------------------------------------------------------------------------------------------------------------- jweb 日本語GPT2  In [1]: import torch from transformers import T5Tokenizer, AutoModelForCausalLM, T5ForConditionalGeneration, GPT2LMHeadModel  In [2]: #tokenizer(字句解析)はT5Tokenizerを使用する tokenizer = T5Tokenizer.from_pretrained("jweb/japanese-soseki-gpt2-1b", use_auth_token=access_token)    Special tokens have…
日本語GPT2をJupyter Notebookで動かす

Rust言語やPythonで使用できる日本語で事前学習して、更にファインチューニングしたGPT2-1.3B大規模モデルをHuggingFaceのTransformers Model Hubで公開した。このjweb/japanese-soseki-gpt2-1bモデルはrinna社のモデルを、青空文庫の夏目漱石の小説を使ってファインチューニング。Pythonだけではなく、Rust言語でも使える初めての日本語GPTモデルになるでしょう。使い方はモデルハブにソースコードを公開しましたが、なにぶん5GBを超える大規模モデルなので、最初の実行はモデルロードに結構時間がかかります。次の実行からはキャッシュ化されるので、ロード時間は大幅に短縮されるでしょう。実際に、"夏目漱石は、"と入力して実行するとランダムに以下のようにかなりちゃんとした文章が自動生成されました。  夏目漱石は、明治から大正にかけて活躍した日本の小説家です。彼は「吾輩は猫である」や「坊っちゃん」、「草枕」「三四郎」、あるいは「虞美人草」などの小説で知られていますが、「明暗」のような小説も書いていました。 Jupyter Notebookでも試せます。 GPTのような自然言語AIもそのうち、将棋やチェスのAIのようになるかも。  
Rustで使える日本語で事前学習してチューニングしたGPT2大規模モデルを公開

日本語で事前学習したrinna/japanese-gpt-1bをRust言語で使ってみた。この日本語GPTは、一般的な日本語テキストの特徴を持つ高度な日本語文章を自動生成できるということです。更にこの日本語GPTを青空文庫の夏目漱石作品集でファインチューニングしてみた。さて、これで漱石の文体に特化した、漱石フレーバーな文章を自動作成できるでしょうか。また、RustとPythonで実行した場合の速度比較もやってみます。Rustのようなコンパイラ言語は高速なので、Pythonのようなインタープリタ言語と比較してエネルギー効率が高いという意見もある。C/C++での大規模開発を経験した人は、悪夢のようなメモリー関連のトラブルを味わったことがあるかもしれない。Rustは実用的な言語なので、試してみるには十分価値があると思う。
りんな(rinna/GPT2)の愛読書は"夏目漱石"

Rust言語で、事前学習した日本語版 GPTNeoを使ってみた。GPTは機械学習による自然言語処理モデルで、人が書いたのと区別できないほどの文章を自動生成できると言われている。Hugging FaceのTransformersに日本語で事前学習したJapanese Pre-trained GPTがいくつか挙がっている。１年半ほど前にはPyTorchで使える日本語GPTモデルがほとんどなかったので、自前で作成して試してみたが、その頃とはだいぶ様子が変わってきた。今回たまたま目についたのが、rinna社のrinna/japanese-gpt-1bとイエローバック社のgpt-neo-japanese-1.3BだがGPT2/3と競うと謳い文句のGPTNeoをRustで試してみた。
キタキツネはRustで日本語GPT-Neoを使う

Nvidia Jetson nano 2GBでjetbotを自作した。手持ちのありあわせの部品を使った究極のDIYだが、チャント自作の道路を走るのがすごい。猫も、なんだろうと見てます。JetBotサイトから最新版の2GB用0.4.2 jetbot-042_nano-2gb-jp441.zipをダウンロードしてEtcherで128GBのMicro SDに書き込む。このOSイメージでJetBotを起動した。USB Wi-Fiは手持ちの、使っていなかったEDUP AC600を使用してインストールできた。USB Wi-FiはJetson nanoでうまく使用できないのもあるので要注意。
Jetson nano 2GBで自作Jetbot

Nvidia Jetson Nano 2GBで日本語音声を話すようにするプロジェクトを開始した。ESPNET-TTS(Text to speech)を参考にして、ホストPCで動かしていた日本語音声生成のInferenceをJetson Nanoに移行した。Tacotron2とMulti-band MelGANを使用して、音声生成スピードを上げるようにした。Pytorch1.7でDockerを使用せず必要なモジュールをインストールした。レスポンスはホストPCよりかなり遅いが、ちゃんと動作している。
JetSpeech(Jetson nanoが日本語を喋る)