Microsoftが公開したコード専用生成AI WizardCoderの日本語入力対応を試してみた。MetaがLlama2を公開したあと、Llama2ベースのコード専用生成AI Code Llamaを公開した。今回MicrosoftがC更にCode LlamaベースのWizardCoderを公開したので試してみた。WizardCoder-Python-34B-V1.0はChatGPTを超えたとうたっている。しかもLlama2ライセンスで商用利用可能。日本語でコード生成を指示できるのかな？リソースの制約があるのでWizardCoder-Python-7B-V1.0で試してみた。7B(70億パラメータ)モデルはVRAM 16GB搭載GPUで動きそうなので、専用GPUボードを使わずに、汎用APU(CPU+GPU) Ryzen 5600Gに16GB VRAMを割り当てて動かしてみた。Ubuntu22.04 Pytorch 2.0.1  ROCm 5.4.2の環境で動作する。WizardCoder対応のFastChatを使用した。
コード専用生成AI WizardCoder 日本語入力対応

 AMD Ryzen 5600G APUを16GB VRAMのGPUとして使って、LLM(大規模言語モデル)Llama2/vicunaやStableDiffusion(SD)を実行する方法。AMDのROCmオープン・ソフトウエア・プラットフォームはNvidia CUDA互換でPytorchでも使えるが、AMDは公式にはRyzen 5600G APUの対応は言及してない。ところがやり方次第で、5600Gを16GB VRAM内蔵のGPUとして使用できる。16GB VRAM内蔵のグラボはそこそこ高価だが、5600Gは現在16,000円程度で買えるので、ローコスト、ローパワーの、ハイパフォーマンスグラボになる。Pytorchは現在の最新版で動作。実際にLlama2/vicuna  v1.5やSDで試すと、CPUの倍以上のスピードで実行した。 動作環境マザーボード ASROCK B450M Pro4 BIOS 8.01CPU…
究極のローコスト16GB GPU、AMD Ryzen 5600GでAIソフト実行

Meta/Llama 2ベースのFastChat/Vicuna v1.5をローカルPCで試してみた。とうとう、Vicuna のllama2バージョンが公開された。従来のVicuna v1.3はMeta/Llamaを使用しているので、商用利用が制限されていたが、Vicuna v1.5は商用利用も可能で、130億パラメータの13B-16Kトークン対応版もある。vicuna-13b-v1.5をローカルPCで実際に動かした。GPUはRTX3090+GTX1080tiの２枚の少し変則的な組み合わせでも動く。動作に必要なGPUメモリの合計は26GB以上になる。vicuna-7b-v1.5だと、専用グラフィックスボードがなくても、Ryzen 5 5600Gでも動作するのを確認した。Ubuntu22.04の環境で動かした。名前はRyokoさんなんだ！ AIの危険性について尋ねてみるとまあまあ、ちゃんと答えてくれる。 地元、横浜は知ってるかな。多言語対応のLLMで、日本語にもかなりのレベルで対応してる。 llamaベースでこのレベルまで出来てるLLMはほとんどないので、Vicuna v1.5を使って本格的な商用アプリが開発できるかもしれない。興味のあるかたは問い合わせをしてみてください。
Llama 2ベースのLLM FastChat/Vicuna v1.5をローカルで動作

Stability AIから、"世界初のオープンソースRLHF LLMチャットボット"が謳い文句のChatGPT競合品？が出たので早速使ってみた。既にリリースされているFastChat(Vicuna-13b)130億パラメータLLM(大規模言語モデル)をRLHF(人間のフィードバックからの強化学習)で更にファインチューニングしたモデルだそうだ。Vicuna-13bは既に、色々試しているので、比較してみた。StableVicuna-13Bを使うためにはLLaMA13bのライセンスが必要なので、申請する必要がある。Vicuna-13bと同様に、llama-13bとstable-vicuna-13b-deltaのweightを変換してマージするとstable-vicuna-13bが得られる。変換するには64GB以上のCPUメモリが必要。更に、stable-vicuna-13bを実行するには26GB以上のVRAMを搭載したGPUボードが必要になる。実際にデモ用のpythonコードを元に動かしてみた。 python mystable_vicuna.py TransformersとPyTorchを使ってテキスト分類用のpythonプログラムを書いてくれとお願いする。すると実際にそれらしいpythonコードを作ってくれる。  ### Human: Write a Python script for text classification using Transformers and PyTorch…
Stability AIのStableVicuna,オープンソースChatBotを動かす

ChatGPTより小規模のLLMモデルで90%の性能がうたい文句のFastChat(Vicuna)をより低価格なGPUで動作させる方法を考えてみた。FastChatはオープンソースで公開されていて、自前のローカルな環境でも動かすことができるほどコンパクトなLLMだ。オンプレミスで試験的に評価、運用することも可能。それでも、vicuna-13b(130億パラメータ)モデルをフルスペックの16bit精度でinferrence(会話)するにはNvidia A100 40/80GB クラスのGPUカードが標準的には必要だ。下手な車が買えそうな値段だが。これを手持ちのRTX3090(24GB) + GTX1080Ti(11GB)でも動かせるようにした。これでぐっとGPUの敷居が低くなって、だれでも簡単に自前で使えるモデルになりそうだ。vicuna-7bとvicuna-13bではかなり性能に差がある、vicuna-13bを精度を落として8bitで使うと、微妙だが、無視できない差が出る。せっかくのLLM(大規模言語モデル)なので、やはりvicunna-13bをフルスペックの16bit精度で動かしたい。vicuna-13bをフルスペックで動作させるには26GB以上のGPU VRAMが必要となる。RTX3090(24GB) + GTX1080Ti(11GB)の２枚のボードで合計35GB VRAMなので余裕で動作しそうだが今までFastChatでは動作させることができなかったが、FastChatのGitHubに私の修正コードをPR(Pull Request)したら承認され、本体(main)にマージされたので、現在のFastChatの最新版では動作するようになっている。これで、RTX3090/4090(24GB) + RTX2060/3060/4070(12GB)　クラスのボード構成でも動く。うまくいけば24GB + 8GB VRAMや16GB+12GB…
ChatGPT代替えプロジェクトFastChat(Vicuna-13B)を安価なGPUで動作

ChatGPTクラスのチャットAI、FastChat(vicuna-13b)にai_Ueharaさんが、村上春樹氏がノーベル文学賞を受賞できるか答えてくれた。ai_Ueharaさんは画像生成AI(Stable Diffusion)で生成された人工知能のアバターです。今回はFastChatをCLI(コマンドライン)で使ってみました。python3 -m fastchat.serve.cli --model-name path/to/vicuna-13b --load-8bit チャットAIとの会話はこうなりました。 Human: こんにちわ、今日は日曜日ですね。Assistant: そうですね、こんにちは。日曜日ですね。 Human: アップル社の時価総額を知ってますか。 Assistant: Apple Inc.'s market capitalization is…
ai_Ueharaさんが村上春樹がノーベル文学賞を受賞出来るか答えた

ChatGPTに匹敵する性能の日本語対応チャットAI FastChatがオープンソースとして公開されたので、実際にPCにインストールして使ってみた。FastGPTのVicuna Weight(LLM)はoriginalのLLaMA weightsにVicunaの差分を合わせて変換して保存する。 python3 -m fastchat.model.apply_delta \ --base /path/to/llama-13b \ …
チャットGPTに匹敵する性能の日本語対応チャットAI FastChat(Vicuna)

Rust言語でBase64処理プログラムを書いてみた。Base64は、データを64種類の印字可能な英数字のみを用いて、それ以外の文字を扱うことの出来ない通信環境にてマルチバイト文字やバイナリデータを扱うためのエンコード方式である。MIMEによって規定されていて、7ビットのデータしか扱うことの出来ない電子メールにて広く利用されている。 ウィキペディア"ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/"これらの64文字を使ってバイナリデータを表現する。ちなみに"Rust"文字列はBase64で"UnVzdA=="と表される。24bit毎のデータを6bit単位で分割して4文字で表現するので、データが24bitに満たない場合は'='文字で残りを埋めて4文字単位に調整する。
RustでBase64処理プログラム