Ollamaを使ってPC上でAI（LLM）を動かしてみた
入力履歴の外部流出や課金を気にせずに、PC上でChatGPTやGeminiを動かすことはできないか？ということに興味があって、年末年始休暇にOllamaを試してみた。
１．https://ollama.com/download でOllama本体のインストラーをダウンロード
※Windows版は OllamaSetup.exeで1.2GB程度
２．インストールが完了したらWindowsPowershell（Mac/Linuxはターミナル）を開いてollamaと打ってエンターでUsage:（使い方）などが表示されることを確認。
３．Webブラウザで https://ollama.com/search （downloadした画面が開いていれば 画面上部のModelsをクリックしてもよい）にアクセスしてダウンロードするモデルを選択する。
※モデルによってはデータサイズが数十GB以上になるので注意。モデル名の下部に[cloud][270m][1b][4b][12b]などと書かれているが、[cloud]を選択するとPC上での動作完結にならない、その他はおおよそのデータサイズに沿っているようだ。bはbillionでLLM(Large Language Model：大規模言語モデル）のデータ生成に使用したパラメータ数と言う方が正確のようだ。今回はgemma3:4b(3.3GB)を選択してみた。
モデル名の横に表示されるコピペ用ウィンドウで"ollama run gemma3:4b"の文字列をコピーする。
５．OllamaのGUIを起動してモデルを読み込む
※上記のモデルダウンロードに成功していればCUIベースで質問の入力と回答の表示は可能
Windowsではタスクトレイの横の上矢印をクリックしてOllamaのアイコンを押下する。
Macでは時計のそばにOllamaアイコンが表示されている。
６．OllamaのGUI画面で（＋）をクリックしてダウンロード済みのモデル（右にダウンロードアイコンが表示されていないもの）を選択する
※GTX1650（VRAM4GB)のグラフィックボードでも一応仕事をしているようだ。低スペックのPCでは"gemma3:270m"というモデル（コマンド "ollama run gemma3:270m" で入手可能）が300MB弱のサイズなので、こういう小さなモデルから試してみてもよいかもしれない。なお、Settingsを開いて"Model Location"でモデルのダウンロード先が選択可能なのでストレージの空き容量に応じて変更すると良い。ChatGPTベースのモデルが試したい場合はgpt-oss系のモデルを選択する。
８．まとめ
個人的には現在の自分の主な使い方である「検索エンジンの進化版」としての使用では、回答内容、応答時間ともに十分実用に耐える印象だ。