| 瞑想（迷走）をしながらLLLMと遊ぶ方法をつらつら書いていく |
[16 Jan 2026|12:54pm] |
| [ |
ヒトコト |
| |
 どうすっかな |
] |
たぶんね、LLLMとかるーくゆるーく遊ぶだけならここ読む必要ないです
ここはさらにふわっとした感じで説明するから、内容はもっと薄いです
あとうちの環境が最近Windowsからlinuxに変わりましたので、その体でよろです
さて、実際LLLMのプラットフォームは色々あってですね、dockerでも出来るし単純にpythonで組んでCUI上でGemini CLIみたいに動かすことも出来るんですけど、ふわっと行きたいのでLMStudio使います
ちなみにAnythingLLMも試してますけど、どうしてもMCP機能が使えなくて挫折してたりします
つまりLMStudioは宇宙
しらんけど
まずはLMStudioを取りに行きましょう
残念ながらうちのMintではaptでもFlatpakでも拾えなかったので、本家に行って取りに行きます
https://lmstudio.ai/
DLして解凍したらappimageがゴロンとマグロのように取り出せるので、ファイルを右クリック＞プロパティ＞パーミッション＞プログラムとして実行可能をクリックします
はい出来た！これだけで動きますし環境も汚さない！（超厳密に言うと違うけど）
ああ、楽
さあLMStudioを起動してください
画面左の虫眼鏡か上にある「モデルを選択してください」でAIのモデルが選択できます
PC環境に合わせて好きなモデルを使いましょう
基本的にパラメータ数が少ない→サイズ小さい→爆速→ハルシネーションやばめ
パラメータ数が多い→サイズでかい→ゆっくり→そこそこ推論してくれる
ので、挫けない心のあり方が重要となってきます
疲れたら瞑想しましょう（タイトル回収）
チャットは左ペインにある黄色アイコンをクリックします
すぐ右にあるチャット一覧の「＋」をクリックすれば新しいチャットが作成されます
多分ですけどモデルの殆どのベースが英語なので、英語の勉強だけをするなら1GB程度のモデルでもいけるはずです
モデルによっては出力前に推論を内部でやってくれたり（CoT）、画像を読み込ませて推論してくれますが、うちの貧弱環境では無理でした。。。
重要なことを書くわね？
モデルオプションでシステムプロンプトの設定あるけど、スモールモデルでは期待しないで。。。最初から無理なのよ。。。彼らはそれがあることに気づいてすら居ないからいつも無視する。。。常に最新の重みのある情報しか見てないの。。。だから何を聞いても最初の質問の答えを繰り返すだけなの。。。コンテキスト長？笑わせないで！それが機能していたらこんなことになってやしない！瞑想なさい
それからPROGRAMタブでMCP使えるけど、これも過度な期待はしないで。。。アタシ、システム日付を取得できる機能をpython経由でMCPにぶん投げて取れるようにした上で、BraveAPI経由で外部情報を取り込めるよう2段構えにしたのに、「今日の東京の天気と最高気温は？」って聞いたら、取得日付をきれいに忘れて2024年の謎日付（多分カットオフ時間で見てる）の天気の結果よこして絶望していたの。。。彼らにはまだ早かったのよ。。。瞑想が必要だわ
あ、ちなみに上の推論、8Bくらいで少しまともになるので、12B以上あるとたまに正解よこすかもしれません
つづく
|
|