#683 モデルが変わるとGPTsの挙動が変わる

お金はガソリンなのかなと思う。お金というものを血液だと思うと、たとえば履歴を見てお金が出て行ってるのを見るのは、まあ辛い。どのくらいの金額だと辛いのかというのは人によるだろうが、その人なりに辛い金額ってものはやはりあるだろう。

だからついついそれを出血のようにとらえて、それを抑えようとしてしまう。けれども、足──そのお金を使った履歴が──それにはそれによってメリットを得たというか、仕事をしたり、出来のようなものの場合は、また何かを得ていたりとか。もしくはそのお金によってその仕事をしてくれている。お金というものは仕事をしてくれている。

ここで「仕事」っていうのは、人間が「仕事に行きます」みたいなそういう仕事ではなくて、計算における「仕事」の方。だけれどもその場合は、お金というものが「仕事」に変換されているという感じがする。

そういうふうに思うと、アナロジーとしてはおそらくガソリンとかが適切なのかなと思っていて。ガソリンもガソリンだけでは何か力を生み出すわけではないんだけども、車に入れて、エンジンで回すことで、エンジンで燃やすことで仕事をしてくれる。仕事を満たすわけで、力を生み出すわけで、そのようなものがアナロジーとして適切なのではないかなとふと思った。

話は変わるけれども、最近自分のiPadが重くて辛い。そんなにめちゃくちゃ古いわけじゃないし、LiDAR付きのiPad Proだし、しかも重いのは特定のアプリであって、何が重いのかというと公式のメモアプリだね。あのAppleのメモアプリが、なぜか非常に重い。

たとえば新しいノートを作った後、こう、自分はよく手書きのメモを取る時にiPadを使うんだけども、その時に、なかなかこう、新しいメモを作った後に書き出しができるまでしばらく待たされたりしてしまう。

その挙動は何から生まれているのかよくわからないが、みんなどうなんだろうか。今は宝塚先生、そうだな、3500とか4000円前ぐらいのメモしかないので、そのぐらいで重くなるっていうのは、OSに標準のアプリとしてはややあまり想像がつかない。そのぐらい全然いけるような気がしている。

それにしてもまた話が変わるけれども、何かちょっとした定型的なタスクをさせたい時にChatGPTのGPTを作っていて。ただ、これの難しいところは非常に──あ、これ非常に便利なんだけれども難しいなと思うのは、中で動いているモデルが変わると、プロンプトが同じように動くわけではないということ。

もちろんそもそも出力にランダム性がある。全く同じ文章が毎回出てくるようなものの仕組みではないことは分かっているんだけれども、それを踏まえても、きちんと一定の範囲内のランダム性で動いていたものが、モデルが変わると意図しない動きをするというか、プロンプト変えなきゃいけないような事ってのはよくある。

この辺は逆に言うと、得たい結果からプロンプトを逆算してもらうようなことはできないんだろうかと思うことがある。もちろんできるんだろう。つまりこのような入力からこのような結果が欲しいという例をいくつか示す。

これは最近はあんまりやっていないというか聞かなくなったけども、「ショット」と呼ばれる、いくつかの例を示すプロンプトと一見一緒だけれども、もちろん全く同じではなくて、その仕組みを外部化することで作った。

その仕組みを外部化することで、モデルが変わった時にプロンプトを新しく操作してくれたりとか、アップデートしてくれたりとか、チェックしてくれたり。つまり自動テストのようなものだね。自動テストが走るようなことができないものだろうか。