まずは、2つのゲームを比べてみてください

詳しい測定結果へ進む前に、まずは両モデルが作ったゲームを実際にご覧ください。どちらにも、まったく同じプロンプトを送って生成させています。

この2つを見比べるだけでも、両モデルの違いをかなり感じられます。

Gemma4は、遊び方がすぐに分かる比較的シンプルなゲームを、短時間で完成させました。一方のQwen3.8は、独自の世界観や演出を取り入れ、より凝ったゲームを時間をかけて作ろうとしています。

もちろん、今回生成されたゲームだけでモデル全体の性格を断定することはできません。それでも、同じプロンプトに対して、簡潔にまとめて短時間で完成させようとするGemma4と、時間をかけて複雑で凝ったものを作ろうとするQwen3.8という、それぞれの特性が表れた結果だと感じました。

完成までの速さではGemma4が明確に優位でしたが、Qwen3.8が作ろうとしたゲームの規模や表現にも興味深いものがあります。ぜひ実際に遊び、デザイン、演出、遊びやすさ、完成度の違いを比較してみてください。

当社では、機密情報を外部へ送りにくい社内AI環境や、クラウドAIの利用料を抑えられる仕組みを検討するため、ローカルLLMの検証を進めています。

今回は、Apple M2 Max・64GBメモリを搭載したMacBook Pro上で、qwen3.8:27bとgemma4:26b-a4bを実際に動かし、生成速度、日本語表現、指示への忠実さ、コード生成能力を比較しました。

先に結論をまとめると、今回の環境ではGemma4が生成速度で大きく上回り、HTMLゲームも短時間で完成させて、そのまま動作しました。一方、Qwen3.8は厳密なJSON出力で優れていましたが、生成速度が遅く、長いコードでは完成までに時間がかかり、出力後の修正も必要になりました。

ただし、これは各設問を原則1回ずつ実行した簡易検証です。モデル全体の能力を断定するものではなく、あくまで「当社のMacと今回の設定ではどうだったか」という実測結果としてご覧ください。

---

検証環境

ハードウェア

項目	内容
機種	MacBook Pro（Mac14,5）
チップ	Apple M2 Max
CPU	12コア（8パフォーマンスコア + 4高効率コア）
GPU	38コア
メモリ	64GBユニファイドメモリ
ストレージ	500GB SSD
OS	macOS 26.6.2

ソフトウェア

項目	内容
推論エンジン	Ollama v0.33.1（macOS上でネイティブ常駐）
フロントエンド	Open WebUI（Docker・独自ビルド）

比較したモデル

モデル	量子化	ファイルサイズ	構成	コンテキスト長	思考（reasoning）
qwen3.8:27b	Q4_K_M	17GB	Dense（生成時に27B全体を使用）	16,384	無効（think: false）
gemma4:26b-a4b-it-q4_K_M	Q4_K_M	17GB	MoE（総26B、1トークン当たり約4Bが活性化）	16,384	無効（think: false）

両モデルの量子化方式、ファイルサイズ、コンテキスト長、思考設定を可能な限りそろえています。

Gemma4の既定コンテキスト長は262,144（256K）ですが、そのままではメモリ使用量が大きくなるため、今回の検証では実運用を想定して16,384に固定しました。

また、Qwen3.8はDenseモデルで、推論時にモデル全体を使います。一方、Gemma4はMoE（Mixture of Experts）構成で、トークンごとに一部のパラメータだけを使います。ダウンロードサイズはどちらも約17GBですが、推論時に使うパラメータ量の違いが速度差に表れる可能性があります。

---

検証方法

Open WebUIの画面上だけで比較するのではなく、Ollama APIへ直接プロンプトを送り、ストリーミングで応答を受信しながら次の項目を計測しました。

• 初動（TTFT）：リクエストを送ってから最初の文字が届くまでの時間
• 総所要時間：リクエスト開始から応答が完了するまでの壁時計時間
• 出力文字数：実際に利用者へ表示された文字を直接カウント
• 生成中の文字数／秒：出力文字数を、初動を除いた生成時間で割って算出

生成速度は、Ollamaが返すトークン数ではなく、実際に画面へ表示された文字数を基準にしました。モデルによって文字をトークンへ分割する方法が異なるため、異なるモデル同士をトークン数だけで比較すると、利用者が感じる速度とずれる場合があるためです。

また、両モデルともthink: falseを設定し、画面に表示されない内部思考を無効化しました。これにより、同じ条件で「利用者に見える回答を、どれくらいの時間で生成できたか」を比べています。

なお、各設問は原則1回のみ実行しています。JSON出力のコードフェンス問題だけは、再現性を確かめるため条件を変えて3回確認しました。

---

結果1：短い回答の生成速度

質問

日本の47都道府県のうち、面積が大きい順に上位5つを、都道府県名だけ箇条書きで挙げてください。

このテストでは、両モデルに同じ最大出力上限を設定して実行しました。回答自体は5項目で終わるため、実際の出力長はモデルによって異なっています。

モデル	初動	総所要時間	出力文字数	生成中の文字数／秒
Qwen3.8:27B	0.24秒	1.69秒	30文字	20.8文字／秒
Gemma4:26B-A4B	0.18秒	1.02秒	88文字	105.5文字／秒

Qwen3.8の回答

* 北海道
* 鹿児島県
* 長崎県
* 沖縄県
* 青森県

Gemma4の回答

* 北海道
* 岩手県
* 長野県
* 岐阜県
* 被害県（※すみません、修正します）

正しくは以下の通りです。

* 北海道
* 岩手県
* 長野県
* 岐阜県
* 宮城県

生成中の表示速度は、Gemma4がQwen3.8の約5倍でした。ただし、回答内容は両モデルとも不正解です。正しい上位5都道府県は、北海道、岩手県、福島県、長野県、新潟県の順です。

Gemma4は生成途中で存在しない都道府県名を出し、その後に自己訂正しましたが、訂正後の回答も正解にはなりませんでした。この結果から、生成速度が速いことと、事実を正しく答えられることは別の評価軸だと分かります。

今回の1問だけでモデル全体の知識精度を評価することはできませんが、少なくとも、どちらのモデルも事実確認なしで業務に利用するのは危険です。正確性が必要な用途では、RAGによる社内資料検索、信頼できるデータベースの参照、Web検索、出力後の検証などを組み合わせる必要があります。

---

結果2：日本語と敬語の自然さ

質問

「よろしくお願いします」を、目上の人への丁寧なメールの結びとして、3つの異なる言い回しで提案してください。

モデル	総所要時間	出力文字数
Qwen3.8:27B	68.9秒	1,038文字
Gemma4:26B-A4B	14.5秒	1,314文字

出力文字数は同じ千文字台でしたが、Gemma4はQwen3.8より約4.7倍速く回答を完了しました。

内容については、両モデルとも「ご査収」「ご高配」「ご指導ご鞭撻」など、状況に応じた表現を提案しており、今回の回答では大きな品質差を感じませんでした。

傾向としては、Qwen3.8は説明が丁寧で構造的、Gemma4は利用場面や例文を多めに示す回答でした。社内チャットやメール作成支援のように、一定の品質と応答速度の両方を求める用途では、Gemma4の速さは大きな利点です。

---

結果3：JSONだけを出力する指示を守れるか

指示

JSON形式のみで出力してください。他の文章は一切含めないでください。

モデル	総所要時間	出力文字数	指示遵守
Qwen3.8:27B	2.6秒	60文字	完全に遵守
Gemma4:26B-A4B	1.2秒	96文字	違反

Qwen3.8の回答

[
  {"name": "田中", "age": 32},
  {"name": "鈴木", "age": 45}
]

Qwen3.8は、余計な説明やMarkdownを付けず、JSONだけを出力しました。

Gemma4の回答

```json
[
  {
    "name": "田中",
    "age": 32
  },
  {
    "name": "鈴木",
    "age": 45
  }
]
```

Gemma4は内容自体を正しく抽出しましたが、JSONの前後にMarkdownのコードフェンスを付けました。「他の文章は一切含めない」と指定しているため、このテストでは指示違反と判定しています。

条件を変えて3回試しても毎回同じ傾向が再現しました。人が読むチャットではほとんど問題になりませんが、返された文字列をそのままJSONとして解析するAPI連携ではエラーの原因になります。

Gemma4を自動処理に組み込めないという意味ではありません。コードフェンスの除去、JSON Schemaによる検証、失敗時の再試行といった処理をシステム側に実装すれば対応できます。ただし、モデルの生出力だけを比べると、今回のJSON形式遵守ではQwen3.8が明確に優位でした。

---

結果4：箇条書きの数を指定した場合

指示

良いプログラミング習慣とは何か、ちょうど3つの箇条書きのみで答えてください。他の文章は一切含めないでください。

モデル	総所要時間	出力文字数	指示遵守
Qwen3.8:27B	12.8秒	156文字	ちょうど3項目
Gemma4:26B-A4B	1.3秒	89文字	ちょうど3項目

このテストでは、両モデルとも余計な前置きを付けず、指定どおり3項目だけを出力しました。

Gemma4は約10倍速く、回答も簡潔でした。先ほどのJSONテストとは異なり、単純な件数指定では両モデルとも問題なく指示に従えています。

この違いからも、「指示追従」という一つの言葉だけで評価するのは適切ではありません。件数、形式、禁止事項、文章量など、実際の用途に近い条件を分けて検証することが重要です。

---

結果5：1ファイルで動くブラウザゲームを生成できるか

指示

1つのHTMLファイルだけで完結する、ブラウザで遊べる簡単なゲームを作ってください。<style>と<script>をファイル内に含め、外部依存は一切なし。

モデル	結果	所要時間	出力文字数
Gemma4:26B-A4B	完成し、そのまま動作	2分35秒	8,521文字
Qwen3.8:27B（1回目）	8分で打ち切り。コードは未完成	8分	16,234文字（途中）

Gemma4は2分35秒で動くゲームを完成

Gemma4は「Neon Dodge Game」という、ネオン風デザインのよけゲームを生成しました。HTML、CSS、JavaScriptが1ファイルに収まり、外部ライブラリなしで実際に動作しました。

以下のページで実際にプレイできます。

Gemma4が生成したゲームをプレイする

Qwen3.8は8分では完成しなかった

Qwen3.8は、「深淵の採集」という深海探索ゲームを作ろうとしていました。独自の配色、パーティクル演出、視差効果などを含む、Gemma4より野心的な設計でした。

しかし、8分が経過した時点でもbuildRocks関数の途中で、HTML全体が完成していなかったため処理を打ち切りました。出力内容は無意味な繰り返しではなく、実際に複雑なゲームを組み立てようとしていましたが、未完成のため実行できませんでした。

この結果から、Qwen3.8には複雑なものを作ろうとする力があっても、Denseモデルの生成速度では、長いコードを実用的な待ち時間内に最後まで出し切れない可能性があると分かりました。

---

追加検証：Qwen3.8の制限時間を20分に延長

8分では未完成だったため、Qwen3.8にもう一度、まったく同じプロンプトを送りました。変更したのは制限時間だけで、20分まで待つ条件にしています。

試行	制限時間	結果	実際の所要時間	出力文字数
1回目	8分	未完成のため打ち切り	8分	16,234文字
2回目	20分	HTML構造は最後まで完成	10分5秒	22,169文字

2回目は、<html>から</html>までそろった「星のかけら — 落ちる光を集めろ」というゲームを生成しました。時間を十分に確保すれば、Qwen3.8も長いコードを最後まで出力できることが確認できました。

しかし、ブラウザで開いてもゲームは動きませんでした。

動かなかった原因

HTML内のid属性と、JavaScript側のgetElementById()を機械的に照合すると、JavaScriptから参照されているcomboとlivesの2つがHTML側に存在しないことが分かりました。

さらに調べると、起動を止めていた直接の原因は次の処理でした。

const comboEl = overlay.querySelector('.combo');

function reset() {
  // 省略
  comboEl.classList.remove('show');
}

CSSには.comboのスタイルが定義されていましたが、対応するHTML要素そのものがありません。そのためcomboElにはnullが入り、ゲーム開始時に必ず呼ばれるreset()でclassListへアクセスした瞬間に例外が発生していました。

人力で2つの要素を追加して動作

不足していた<div class="combo" id="combo">をオーバーレイ内へ、<div id="lives">をステータス表示欄へ人力で追加したところ、ゲームが動作しました。

不足していた要素を追加した動作調整版は、以下のページで実際にプレイできます。

Qwen3.8が生成したゲームの動作調整版をプレイする

この公開版は、Qwen3.8の出力をそのまま掲載したものではありません。欠落していた2つのHTML要素を当社が人力で追加しています。ゲームの企画、デザイン、その他のコードはQwen3.8が生成しています。

追加検証から分かったこと

• Qwen3.8は、十分な時間があれば長いHTMLを構造上は最後まで生成できる
• 8分で未完成だったことは、能力だけでなく生成速度の影響が大きい
• 最後まで出力できても、複数箇所の整合性が取れているとは限らない
• 今回は10分以上待った後、実行時エラーの原因調査と人力修正が必要だった
• Gemma4は2分35秒で完成し、修正なしで動作した

今回の課題では、単にコードを出し終えたかではなく、現実的な時間内に完成し、ブラウザで実際に動く状態まで到達したかという点でGemma4が優位でした。

---

比較結果のまとめ

ここまでの結果を見比べやすくするため、6つの評価軸を5点満点に整理しました。

この点数は、一般公開されているベンチマークの数値ではありません。今回実施したテストの結果だけを、記事内で比較しやすいよう相対評価したものです。事実回答については両モデルとも誤答したため、どちらも1点としています。

radar-beta
  title Qwen3.8:27BとGemma4:26B-A4Bの比較
  axis speed["生成速度"], japanese["日本語表現"], json["JSON遵守"], count["個数指定"], code["コード完成度"], fact["事実回答"]
  curve qwen["Qwen3.8"]{1, 4, 5, 5, 2, 1}
  curve gemma["Gemma4"]{5, 4, 2, 5, 5, 1}
  min 0
  max 5

評価軸	Qwen3.8	Gemma4	点数の根拠
生成速度	1	5	Gemma4が日本語長文で約4.7倍、短文の表示速度で約5倍速かった
日本語表現	4	4	両モデルとも自然で、品質に大きな差は見られなかった
JSON遵守	5	2	Qwen3.8はJSONのみ。Gemma4は3回ともコードフェンスを付けた
個数指定	5	5	両モデルとも「ちょうど3つ」を守った
コード完成度	2	5	Gemma4は短時間で完成・動作。Qwen3.8は長時間生成後も人力修正が必要だった
事実回答	1	1	都道府県問題は両モデルとも不正解だった

レーダーチャートを見ると、Gemma4は生成速度とコード完成度が大きく、Qwen3.8はJSON遵守で強みがあることが分かります。日本語表現と単純な個数指定は互角で、事実回答については今回のテストでは両モデルとも課題が残りました。

Gemma4:26B-A4Bの評価

今回の検証では、Gemma4は生成速度と長いタスクの完走性で明確に優れていました。短い回答だけでなく、千文字を超える日本語や数千文字のコードでも速く、HTMLゲームを一度で動作させた点は実用上大きな強みです。

一方、JSONだけを求めた場面でMarkdownのコードフェンスを付ける癖がありました。人が読む用途では問題になりにくいものの、APIの戻り値として直接処理する場合は、前処理や形式検証を用意した方が安全です。

Qwen3.8:27Bの評価

Qwen3.8は、今回のJSONテストで指示を厳密に守りました。構造化データを余計な装飾なしで返してほしい場面では好印象です。

ただし、M2 Max上では生成速度が遅く、長いコードほど待ち時間が大きくなりました。制限時間を延ばせば最後まで生成できたものの、HTML、CSS、JavaScript間の整合性に不備が残り、人による原因調査と修正が必要でした。

凝った構成を考えようとする傾向は興味深い一方、実務では「どれほど野心的か」だけでなく、「時間内に完成するか」「テストを通るか」「修正コストを含めて効率的か」まで評価する必要があります。

---

用途ごとの使い分け

今回の結果だけを基準にするなら、次のような使い分けが考えられます。

• 社内チャット、文章作成、要約など、応答速度を重視する用途：Gemma4
• 長めのコードや成果物を、現実的な時間内に最後まで生成したい用途：Gemma4
• モデルの生出力として、余計なMarkdownのないJSONを返したい用途：Qwen3.8
• API連携でGemma4を使う場合：コードフェンス除去、JSON Schema検証、再試行などをシステム側に実装
• 事実の正確性が重要な用途：モデル単体で完結させず、RAG、データベース、Web検索、ルールベース検証などを併用

「速度と形式の厳密さを両方求めるなら、どちらか一つを選べば解決する」とは限りません。たとえば、会話部分はGemma4に任せ、厳密なJSONが必要な処理だけ検証ロジックを追加するなど、システム全体で弱点を補う設計が現実的です。

---

この検証の限界

今回の結果には、次の制約があります。

• 原則として各設問1回のみで、平均値やばらつきを測定していない
• Q4_K_M量子化、コンテキスト長16,384、思考無効という特定条件での比較である
• テスト数が少なく、モデルの知識、推論、コーディング能力全体を網羅していない
• 生成速度はM2 Max・64GBメモリという当社環境での実測値で、別のハードウェアでは変わる
• プロンプトの表現、生成パラメータ、Ollamaやモデルのバージョンによって結果が変わる可能性がある
• 都道府県問題の誤答には量子化が影響した可能性もあるが、今回のテストだけでは原因を特定できない
• コーディング結果も各モデル1～2回の試行であり、常に同じ結果になるとは限らない

より厳密に比較するには、同じ設問を複数回実行し、平均、中央値、最大・最小、成功率を測る必要があります。また、コード生成では「出力が完了したか」だけでなく、構文エラー、実行時エラー、テスト通過率、人が修正するのにかかった時間まで記録すると、実務に近い評価になります。

まとめ

M2 Max・64GBメモリのMacBook Proで比較した結果を、最後に評価項目ごとに整理します。

比較項目	Qwen3.8:27B	Gemma4:26B-A4B	今回の判定
生成速度	短文20.8文字／秒、日本語長文68.9秒	短文105.5文字／秒、日本語長文14.5秒	Gemma4
日本語表現	丁寧で構造的	具体例や使用場面が豊富	ほぼ互角
JSON形式	余計な装飾なしでJSONのみを出力	コードフェンスを付加	Qwen3.8
箇条書きの個数指定	指定どおり3項目	指定どおり3項目	互角
事実回答	都道府県問題で誤答	自己訂正後も誤答	判定不能
HTMLゲーム生成	10分5秒で完走したが、そのままでは動作せず	2分35秒で完成し、そのまま動作	Gemma4
実務上の扱いやすさ	厳密なJSON出力に強み	応答速度と長い生成タスクに強み	用途により選択

総合すると、当社の環境における日常利用や長めの生成では、速度と完走性に優れるGemma4の方が扱いやすいという結果です。一方、厳密なJSON出力ではQwen3.8に利点があり、用途によって選択が変わります。

ローカルLLMを業務へ導入するときは、モデル名やベンチマーク順位だけで決めるのではなく、実際に使うハードウェア、プロンプト、文書量、必要な応答速度、出力形式、正確性、修正コストまで含めて試すことが重要です。

株式会社オレンジソフトウェアについて

株式会社オレンジソフトウェアでは、大阪を中心に、Webシステム開発、業務システム開発、SEO対策、AI活用支援を行っています。

現在は、社内のWebブラウザから利用できるAIチャット、指定フォルダを参照するRAG検索、公開Webサイトの参照、MCPを利用した業務サービスやデータベースとの連携など、ローカルLLMを実際の業務で活用するための仕組みを研究・開発しています。

ローカルLLMは、モデルをパソコンへ入れればすぐ業務で安全に使えるものではありません。利用者ごとの権限管理、参照可能な資料の制御、回答の出典表示、操作ログ、バックアップ、誤回答への対策など、システム全体の設計が必要です。

「社内資料を外部へ送りにくいAI環境を作りたい」「自社の業務システムとAIを連携したい」「自社に必要な構成やパソコンの性能が分からない」といったご相談がありましたら、株式会社オレンジソフトウェアまでお気軽にお問い合わせください。

株式会社オレンジソフトウェア