Ollamaを使ってPC上でAI（LLM）を動かしてみた

入力履歴の外部流出や課金を気にせずに、PC上でChatGPTやGeminiを動かすことはできないか？ということに興味があって、年末年始休暇にOllamaを試してみた。

１．https://ollama.com/download　でOllama本体のインストラーをダウンロード

※Windows版は OllamaSetup.exeで1.2GB程度

２．インストールが完了したらWindowsPowershell（Mac/Linuxはターミナル）を開いてollamaと打ってエンターでUsage:（使い方）などが表示されることを確認。

３．Webブラウザで https://ollama.com/search （downloadした画面が開いていれば 画面上部のModelsをクリックしてもよい）にアクセスしてダウンロードするモデルを選択する。

※モデルによってはデータサイズが数十GB以上になるので注意。モデル名の下部に[cloud][270m][1b][4b][12b]などと書かれているが、[cloud]を選択するとPC上での動作完結にならない、その他はおおよそのデータサイズに沿っているようだ。bはbillionでLLM(Large Language Model：大規模言語モデル）のデータ生成に使用したパラメータ数と言う方が正確のようだ。今回はgemma3:4b(3.3GB)を選択してみた。

モデル名の横に表示されるコピペ用ウィンドウで"ollama run gemma3:4b"の文字列をコピーする。

４．WindowsPowershell（Mac/Linuxはターミナル）で ollama run gemma3:4b と打って（貼り付けて）エンターを押下（実行）する。プログレスバーが100%の表示になってsuccessと表示されるまで待機する。

５．OllamaのGUIを起動してモデルを読み込む

※上記のモデルダウンロードに成功していればCUIベースで質問の入力と回答の表示は可能

Windowsではタスクトレイの横の上矢印をクリックしてOllamaのアイコンを押下する。

Macでは時計のそばにOllamaアイコンが表示されている。

６．OllamaのGUI画面で（＋）をクリックしてダウンロード済みのモデル（右にダウンロードアイコンが表示されていないもの）を選択する

７．これで準備完了、LINEのトーク画面のつもりで質問を入れるとGoogle GeminiベースのgemmaモデルがPC上で答えを返してくれる。

※GTX1650（VRAM4GB)のグラフィックボードでも一応仕事をしているようだ。低スペックのPCでは"gemma3:270m"というモデル（コマンド "ollama run gemma3:270m" で入手可能）が300MB弱のサイズなので、こういう小さなモデルから試してみてもよいかもしれない。なお、Settingsを開いて"Model Location"でモデルのダウンロード先が選択可能なのでストレージの空き容量に応じて変更すると良い。ChatGPTベースのモデルが試したい場合はgpt-oss系のモデルを選択する。

８．まとめ

個人的には現在の自分の主な使い方である「検索エンジンの進化版」としての使用では、回答内容、応答時間ともに十分実用に耐える印象だ。