Microsoftが公開したコード専用生成AI WizardCoderの日本語入力対応を試してみた。
MetaがLlama2を公開したあと、Llama2ベースのコード専用生成AI Code Llamaを公開した。
今回MicrosoftがC更にCode LlamaベースのWizardCoderを公開したので試してみた。
WizardCoder-Python-34B-V1.0はChatGPTを超えたとうたっている。しかもLlama2ライセンスで商用利用可能。
日本語でコード生成を指示できるのかな？
リソースの制約があるのでWizardCoder-Python-7B-V1.0で試してみた。
7B(70億パラメータ)モデルはVRAM 16GB搭載GPUで動きそうなので、
専用GPUボードを使わずに、汎用APU(CPU+GPU) Ryzen 5600Gに16GB VRAMを割り当てて動かしてみた。
Ubuntu22.04 Pytorch 2.0.1 ROCm 5.4.2の環境で動作する。
WizardCoder対応のFastChatを使用した。
FastChat をGit clone してcloneしたフォルダに入る。
python3 -m fastchat.serve.cli --style rich --model-path WizardLM/WizardCoder-Python-7B-V1.0
をコマンドラインから実行。
まず簡単なPython codeの生成を指示する。
次は日本語で指示してみる。
結構丁寧に教えてくれる。
もっと難しいのどうかな。
説明付きで教えてくれる。
日本語で説明してくれるともっといいけど、望み過ぎかな。
現状でも、さすがMicosoftと言いたい。
更にブラウザでwebuiで使うにはこうする。
--------------------------------------------------------------------------------------------------------------------------
python3 -m fastchat.serve.controller
python3 -m fastchat.serve.model_worker --model-path ~/LLM/WizardCoder-Python-7B-V1.0
python3 -m fastchat.serve.gradio_web_server
---------------------------------------------------------------------------------------------------------------------------
ブラウザでhttp://localhost:7860にアクセスする。
高速に素数を求めるPythonコードを教えてもらった。
Python プログラミングの補助として使ってみるか。
コメント powered by CComment