-
大手ISPを顧客にもつ外資ベンダーで社内向けローカルLLM開発で構築を担当
■ プロジェクトの目的
社内ドキュメントやJIRAチケットなどに蓄積された技術ナレッジを活用するため、外部AIサービスに機密情報を送信せず利用可能なローカルLLM／RAG環境を構築・検証する。
また、Linuxへのコマンド実行（MCP・OpenTerminal）によりサーバー運用の自動化についても検証する。
■ 体制・人数
2〜4名程度の小規模PoC体制。
開発、QA、サポート、運用部門の利用を想定し、技術検証を実施。
■ 自分のポジション・役割
ローカルLLM環境の構築・検証担当。
Ollama、Open WebUI、Docker、RAG、ベクトルDB、JIRA連携の調査・サーバープロセスリスタートなどの自動化の構築・動作確認を担当。
QA観点から、回答精度、参照元、業務利用時のリスク、検証ポイントも整理。
■ 目的を達成する上での課題
LLMへ適切なデータを送る仕組み（ドキュメント整備・索引ファイル経由・リランク）が必要
社内ドキュメントやJIRAチケットが分散している
LLM回答の正確性・参照元確認が必要
ローカル環境のGPU／メモリ／推論速度に制約がある
業務利用に耐えるユースケース整理が必要
■ 課題に対して取り組んだこと
Ollama、Open WebUI、Dockerを用いたローカルLLM環境を構築し、RAGによる社内ドキュメント検索・回答生成を検証。
JIRAチケット情報をナレッジとして活用する構成を検討し、障害対応履歴、QAチケット、仕様確認チケットなどの検索・参照ユースケースを整理した。
また、QA観点から回答の妥当性、参照元確認、誤回答時のリスク、運用時の確認ポイントを洗い出した。
■ ビジネス上の成果
外部AIサービスに機密情報を送信せず、社内ナレッジを活用できるローカルLLM／RAG構成の実現可能性を確認。
過去チケットや社内ドキュメントを横断的に検索・参照することで、QA、開発、サポート、運用業務における調査時間短縮や属人化低減につながる見込みを示した。
本格導入に向けた技術課題・運用課題・QA観点を整理し、検討材料を提供した。Linux、ネットワーク、Ollama、オープンLLM、RAG、JIRA