Clik here to view.
ChatVectorで新モデル作って評価して遊ぶヤツ、自分もやりたい
最近、一部のローカルLLM勢のあいだでChatVectorで遊ぶのが流行っている。ChatVectorとは何か？というとこちらの論文で発表された技術だ。 [2310.04799] Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages...
View ArticleClik here to view.
Command R+はどこまで量子化するとアホになってしまうのか？
今回は、ローカルで動かせるCommand R+の量子化モデルを色々使ってそれぞれにElyzaTasksベンチマークを解かせるという事をやる。...
View ArticleClik here to view.
GPUが1枚でもローカルで高速にLLM評価を回したい！
前回の記事の続きです。 Command R+はどこまで量子化するとアホになってしまうのか？ 前回の記事で、Command R+（CR+）のようなモデルはまあ4bit程度までは量子化しても実用的に問題なさそうだという事が分かった。...
View ArticleClik here to view.
Mergekit-Evolve登場！進化的アルゴリズムで手元のLLMを最強進化させよう！
前回の記事では、GPUが１枚だけの環境でなるべく高速にローカルでElyzaTasks100の評価を回す方法を示した。 GPUが1枚でもローカルで高速にLLM評価を回したい！ だから次はこれ使って進化的アルゴリズムでモデルを進化させてみたいね！という話だったのだが、そんな時、まさに渡りに船のグッドタイミングでMergekit-Evolveが登場した！...
View ArticleClik here to view.
VRAM6GBしかないノートPCでもMergekit-Evolveで進化的マージを回したい
前回、Mergekit-Evolveによる進化的マージについて紹介した。 Mergekit-Evolve登場！進化的アルゴリズムで手元のLLMを最強進化させよう！ 私の記事では評価モデルとしてローカルのLlama3-70Bを使ったのだが、その後、布留川さんが評価にGeminiのAPIを使うという画期的なアイデアを実装してくれた。 Google Colab で mergekit-evolve による...
View ArticleClik here to view.
Clik here to view.
最近の7B小型日本語LLMはエージェントになれるのか？
あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。...
View ArticleClik here to view.
ShaberiベンチマークでLLMを評価する
最近はますます小型LLMの開発競争が熾烈さを増している。何故か？というと今まで散々書いてきた通り、チャットベクターや進化的マージでLLMの性能が引き出せることが分かったし、それらの操作には計算資源はほとんど不要だから、個人でも参入できると分かったからだ。 Twitter上の目ぼしいメンツはみんな進化的マージに着手してるまである。当然だろう。敢えてやらない理由が見つからない。...
View ArticleClik here to view.
Clik here to view.