自分のPCでローカルLLMを動かすことは行うべき重要なユーザー体験

生成AIの話って進化が速すぎるのでブログ記事にするのどうかなって思うところはあるね。

だから、トレンドを追いかける記事じゃなくて、押さえておくべき学習の要点みたいな長く読める内容にしたいね。

まあ、モデルはどんどん進化するんだけどさ。大事なのはユーザー体験として自分のPCに生成AIを閉じ込めて動かしたり、自分のPCを起点に自分の生成AIを動かす経験をするってことさ。

するとなんだかんだ課題にぶつかるので具体的な問題解決プロセスを経験することになるから、とにかく勉強になるんだよ。

別にローカルLLMじゃなくて課金してAPI使ってもいいんだけどね。それはそれで勉強になるけどローカルLLMならではの学びポイントがあるということ。

Haggingfaceからモデルをダウンロードしてセットアップするのが手作り感満載だけど、いきなりだとちょっとハードルが高い。

だから、モデルはOllamaのを使うと良いよ。細かい設定部分がまるっとラップされていて本当にこれでいいの？というあっけなさでローカルLLMが動く。

それから、ブラウザでChatGPTみたいに使いたいって思ったら、OpenWebUIというプラットフォームを活用すると良い。

それもこんなんでいいの？って簡単さでOllamaのローカルモデルがブラウザでサクサク動く。

加えてRAGもネット検索もマルチモーダルもなんでもできちゃう。細かいこと言わなければChatGPTそのものさ。