- 1投稿者：麻耶犬 投稿日：2024年11月16日(土) 17時01分25秒
- LLMはラージランゲージモデルの略ね
これが普通にネット上に公開されてたりするんやけど
とても一般人のPCでは動かないようなとんでもない処理能力を必要とするもので
例えばH100っていう約500万もするグラボを6〜7枚くらい必要とするねん
でもな、量子化っていう技術があって、なんか精度を落とした状態？俺もよくわからんけど
その量子化されたモデルが落ちてて、それを試してみた
てっきりLinuxでしか動かへんと思ってたけど案外簡単に動かせたのやけど、それでな・・・
- 2投稿者：ヾ(ﾟдﾟ)ﾉ゛ﾊﾞｶｰ 投稿日：2024年11月16日(土) 17時14分18秒
- 頭悪そう
- 3投稿者：麻耶犬 投稿日：2024年11月16日(土) 17時14分39秒
- ちょっとAIに訂正されながら書いてて俺っぽくない変な文章になってるから、１００％俺の文章で書くわ！
JailBreakって聞いたことあるでしょう？iPhoneのカスタムファームウェアとか昔流行ったよね
それとは全然違うけど、LLMに対してもJailBreakっていうのがあって
要はAIの制限やルールを回避して、普通なら絶対答えへんようなことを
無理矢理答えさせるプロンプト技術のことやねん。
エロ小説を書かせたり、自殺だの危険な事や暴力的な事を言わせたりね。
ちなみにChatGPTでそれをやり過ぎると永BANされるらしいから気をつけて。
だから俺はLLMでそれ久しぶりにやったろうと思ってやったのよ
暇とグラボある人はやってみてよ、これのOllamaのQ5(最高クオリティ)のバージョン
https://huggingface.co/mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf
そしたらそれはすんなり出来た、出力がおっそいけどChatGPT4oくらいの性能はあるらしい。
最近のAIは日毎に厳しくなってるから変な事書くのもちょっと気が引けるんよね
でもオフラインで動くなら気兼ねなく話せる
- 4投稿者：麻耶犬 投稿日：2024年11月16日(土) 17時41分01秒
- エロでおさまるならいいけど、めっちゃ危険な事にも答えてくれるから
これ遅かれ早かれ犯罪に使われるわ、さすがに規制されるべきって俺ですら思っちゃう