グーグルAI「Gemini」ついに

常時学習・改善っていうのが大きいですかね。

ascii.jp にグーグルAI「Gemini」ついにOpenAI超えてトップに躍進という記事が。

私がメインで使っている AI は Gemini なのですが、
どうやら、OpenAI の AI を超えているようですね。

グーグルが開発中の次世代大規模言語モデル（LLM）「Gemini-1.5-Pro-Exp-0801」が、モデルの性能を評価するベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていたことがわかった。
OpenAI の ChatGPT が出てきた時には、その性能に驚きましたが、
短期間で Google の Gemini が性能を超えてきたって事ですね。

ランキングにはバージョンの異なるGeminiシリーズも複数ランクインしているが、GPT-4oとClaude 3.5 Sonnetの両方を下したのはGemini-1.5-Pro-Exp-0801のみ。
色々な種類が開発されていますが、
当然性能が良いものは他のものの性能底上げに利用されると思いますので、
ランキングトップになるのは有益ですねぇ。

LLMの性能ランキングやベンチマーク結果はあくまで参考値であり、実際の利用シーンでは、ほかのモデルの方が高い性能を示す場合もある。
これはそうですね。
絶対的な指標ではなく、特定の条件を揃えた時の他のものとの比較値なので、
実利用時に性能はトップではないけど、使いやすさや回答のわかり易さという麺で、
別のものが支持される事はありますから。

やはりこのジャンルって、進化の度合いがスゴイですよねぇ。
今年の年末までにまだ何度か驚かされそうです。