オンプレミス生成AI・ローカルLLM導入支援

企業向けローカルLLM導入・構築支援

機密情報を社外に出さないオンプレミス生成AIを構築します。ローカルLLM導入の要件整理からサーバー選定、RAGによる社内データ連携、研修、保守まで一括で支援します。

ローカルLLM導入で、
社内完結の生成AIへ

ローカルLLM(オンプレミス生成AI)は、クラウド型AIとは異なり、自社サーバーや閉域ネットワーク内で処理を完結させる生成AI環境です。

契約書、顧客情報、設計図、社内規程などの機密データを外部サービスへ送信せず、社内文書検索・要約・問い合わせ対応・文書作成に活用できます。オレンジソフトウェアは、企業のローカルLLM構築をPoCから本番運用まで支援します。

社内AIでできること

ブラウザで質問。社内情報・Web・外部サービスまで活用

ChatGPTのようなチャット画面をブラウザで開き、自然な日本語で質問や指示を入力できます。必要に応じて、社内文書、インターネット上の公開情報、MCP(Model Context Protocol)対応サービスを組み合わせて回答します。

利用者がブラウザからローカルLLMへ質問し、指定した社内ファイル、Webサイト、MCP連携サービスを参照して回答を得る構成図
利用者はブラウザのチャット画面から質問します。ローカルLLMは、管理者が許可した社内フォルダ、Webサイト、MCP対応サービスを必要に応じて参照します。

FEATURE 01

ブラウザでAIチャット

専用ソフトのインストールを減らし、社内PCのWebブラウザから質問、要約、文章作成、分類などを依頼できます。

FEATURE 02

指定フォルダをRAG検索

あらかじめ設定したフォルダを検索対象にし、関連ファイルの内容と出典を示しながら回答する構成が可能です。

FEATURE 03

Webサイトを参照

Web検索を有効にすれば、社内情報だけでは不足する公開情報を取得し、参照URLとともに回答へ反映できます。

FEATURE 04

MCPでサービス連携

MCPサーバーを介して業務サービスやデータベースへ接続し、情報取得や許可された操作をAIから実行できます。

業務での活用例

  • 就業規則・社内マニュアルへの質問回答
  • 契約書・議事録・報告書の要約
  • 社内資料を基にした提案書の下書き
  • 公開Web情報の調査と参照元整理
  • MCP経由で予定・顧客情報を検索
  • データベースを参照した定型回答
外部接続は選択制です 社内フォルダだけを参照する完全閉域構成と、Web検索・MCPを許可する連携構成を選べます。Webや外部MCPサービスを使用する場合は、検索語や処理対象の一部が接続先へ送信される可能性があるため、接続先、送信範囲、権限、承認、ログを事前に設計します。

こんな悩みはありませんか

クラウドAIを使うほど、募る不安

便利さの裏側で、多くの企業が同じ壁にぶつかっています。

課題 01

情報漏洩のリスク

契約書、顧客リスト、設計図。社外秘のデータをクラウドAIに入力するたび、そのデータは外部のサーバーを経由します。

課題 02

青天井の利用料

使えば使うほど従量課金は膨らむ一方。全社展開したいのに、月々のコストが読めず踏み切れません。

課題 03

カスタマイズの限界

自社の業務フローや専門用語に合わせたいのに、クラウドサービス側が用意した仕様の範囲でしか調整できません。

ローカルLLM vs クラウド型AI

何が、どれだけ変わるのか

同じ「AIを使う」でも、仕組みが違えば結果は大きく変わります。

比較項目 ローカルLLM(自社導入) クラウド型AI
データの扱い基本処理は社内で完結。Web・MCP利用時のみ許可した接続先と通信入力データが外部サーバーを経由
ランニングコスト保守費のみの定額(月3〜6万円台〜)利用量に比例して増加(青天井)
利用人数・回数無制限(社内リソースの範囲で自由に)プランや従量課金に応じて制限
カスタマイズ性自社の業務データでモデルを調整可能ベンダーの仕様に依存
オフライン利用社内ネットワークがあれば稼働インターネット接続が必須
応答速度社内ネットワーク内で完結し安定回線状況・混雑状況に左右される
セキュリティ監査社内で完結するため対応しやすいベンダー側の体制に依存
初期費用ハードウェア+構築費が必要基本的に不要(月額課金のみ)

料金シミュレーション

3年間の累計コストで比較する

初期費用はかかっても、ランニングコストの差が積み重なれば、1年未満で逆転します。

ローカルLLM(自社導入・スタンダードプラン) クラウド型AI(従量課金・30名利用)
3年間の累計コスト比較 ローカルLLMは初期費用98万円から始まり月3.5万円ずつ増加。クラウド型AIは0円から月15万円ずつ増加し、約8.5ヶ月でローカルLLMのほうが安くなる。 0円 100万円 200万円 300万円 400万円 500万円 導入時 1年 2年 3年 約8.5ヶ月で逆転
3年間の累計コスト比較(円)
時点ローカルLLMクラウド型AI
導入時980,0000
1年経過1,400,0001,800,000
2年経過1,820,0003,600,000
3年経過2,240,0005,400,000

試算条件:従業員30名がAIチャット・社内文書検索を全社利用。クラウド型AI=1人あたり月額¥5,000のライセンス想定。ローカルLLM=Ryzen AI Max+ 395・128GBを想定したスタンダードプラン(初期費用¥980,000+月額保守¥35,000)。実際の金額は業務内容・データ量・利用人数により変動します。

約8.5ヶ月

投資回収の目安

¥3,160,000

3年累計の削減額

¥5,920,000

5年累計の削減額

料金プラン

規模に合わせて選べる3プラン

まずは無料相談で業務内容をお伺いし、最適なプランをご提案します。

ライトプラン

初期費用 ¥498,000

月額 ¥29,800

  • 対象規模 1〜10名
  • モデル規模 7B〜14Bクラス
  • ハードウェア選定・調達
  • モデルセットアップ
  • 基本サポート(メール)
このプランで相談する

プロフェッショナルプラン

初期費用 ¥1,980,000〜

月額保守 ¥55,000〜

  • 対象規模 50名以上・複数拠点
  • モデル規模 70Bクラス/マルチGPU
  • 専任担当者によるサポート
  • 定期セキュリティ監査対応
  • BCP・冗長構成の設計
このプランで相談する

※ 金額はすべて税抜・目安です。実際の費用は業務内容・データ量・既存インフラの状況をヒアリングのうえお見積りいたします。

スタンダードプランの標準構成

128GBの大容量メモリで、
用途に合うAIを選べます

AMD Ryzen AI Max+ 395・メモリ128GBを前提に構築します。CPUとGPUが大容量メモリを共有するため、一般的なパソコンでは収まりにくい大きなAIモデルも、社内に置いた1台で動かせます。

モデル名の「B」はAIの規模を表し、32Bなら約320億のパラメータを持つという意味です。大きいほど回答力が上がる傾向がありますが、その分だけ応答は遅くなるため、普段使いには14B〜32Bクラスをおすすめします。

CPU

16コア / 32スレッド

共有メモリ

128GB

GPU用に割り当て可能

最大96GB

軽快さを優先

14B〜20Bクラス

日常の質問へテンポよく答えさせたい場合に向きます。

  • 社内規程・マニュアルの検索
  • メールや議事録の下書き
  • 文章の要約・分類

精度重視・限定利用

70B〜120Bクラス

4bit圧縮(回答力をなるべく保ちながらAIを小さくする方法)を使えば動作候補にできます。複雑な検討や高品質な回答に向く一方、待ち時間が長くなるため、少人数または夜間処理向けです。

  • 難しい文書の詳細分析
  • 大量資料からのレポート作成
  • gpt-oss-120bなどの検証

10〜50名

これは利用登録する人数の目安です。30名全員が常時同時に質問する想定ではなく、通常は1〜3件程度の質問が重なる社内利用を想定しています。利用が一部の時間帯に集中する場合は、軽量モデルへの切り替えや受付順の制御を行います。大人数が同時に使うコールセンター用途などは、複数GPU構成のプロフェッショナルプランが適しています。

※ 最大128B級は「必ず快適に動く」という意味ではありません。実際の速度と同時利用数は、採用モデル、4bit等の圧縮方式、読み込む資料量、会話の長さ、OS・ドライバー、製品本体の冷却性能や電力設定で変わります。PoCで実データを使い、回答品質と待ち時間を確認してから本番構成を決定します。仕様参考:AMD Ryzen AI Max+ 395公式仕様AMDモデル対応ガイド

導入の流れ

ご相談から稼働まで、最短3週間

01

無料相談・ヒアリング

現在の課題や利用イメージをお伺いします。オンライン・訪問どちらも対応可能です。

02

PoC(概念実証)

実際の業務データで精度を検証。導入効果を数字で確認してからご判断いただけます。

03

構築・チューニング

ハードウェアの設置からモデルの調整まで、一括で対応します。

04

社内研修

現場の担当者が迷わず使えるよう、操作研修を実施します。

05

運用・保守

稼働後も月次レポートと保守サポートで、安定した運用を継続します。

こんな業種におすすめ

機密情報を扱う仕事ほど、効果があります

法律事務所・会計事務所 医療・介護 製造業(図面・特許) 金融・保険 地方自治体・公共機関

FAQ

よくあるご質問

既存のクラウドAI(ChatGPTなど)と併用できますか?

はい。機密性の高い業務だけローカルLLMに切り替える、といったハイブリッド運用も可能です。用途に応じて使い分けるお客様も多くいらっしゃいます。

どのくらいの期間で導入できますか?

ヒアリングから稼働開始まで、最短3週間程度です。規模やPoCの有無により、1〜2ヶ月ほどかかる場合もあります。

精度はクラウドの最新モデルに劣りませんか?

社内文書検索・要約・問い合わせ対応といった業務用途では、適切にチューニングされたオープンモデルで十分な精度が出るケースがあります。ご契約前にPoCで実際の精度を確認いただけます。

月額保守費には何が含まれますか?

OS・ミドルウェアのアップデート、モデルの更新、障害対応、月次の利用状況レポートが含まれます。

スタンダードプランは30名が同時に使えますか?

10〜50名は利用登録する人数の目安で、全員が常時同時に質問する想定ではありません。通常は1〜3件程度の質問が重なる利用を想定し、PoCで実際の待ち時間を確認します。同時利用が多い場合は軽量モデルや受付順の制御、複数GPU構成をご提案します。

ChatGPTのようにブラウザから質問できますか?

はい。社内PCのWebブラウザでチャット画面を開き、自然な日本語で質問、要約、文章作成、分類などを依頼できる環境を構築します。

社内フォルダのファイルを参照して回答できますか?

はい。管理者が指定したフォルダ内のPDFやOffice文書などをRAGの検索対象にし、関連箇所と出典を示しながら回答する構成が可能です。対象形式や閲覧権限は要件に合わせて設計します。

インターネット上のWebサイトも参照できますか?

はい。Web検索を有効にした構成では公開サイトを参照できます。完全閉域では無効にし、利用する場合は接続先、送信範囲、参照URLの表示方法を事前に設定します。

MCPサーバーと連携できますか?

はい。MCPサーバーを介して、対応する業務サービスやデータベースの検索・取得・登録などを権限の範囲で利用できます。外部操作には承認やログを組み合わせて設計します。

Knowledge & Insights

ローカルLLM導入・構築のお役立ち記事

オンプレミス生成AIの選び方から構築手順、RAGによる社内文書活用まで、導入担当者向けに分かりやすく解説します。

記事をすべて見る

まずは無料相談から

貴社の業務内容をお伺いし、ローカルLLM導入の効果とコストを具体的にご提案します。

相談無料・オンライン可 / 運営:株式会社オレンジソフトウェア