ちょうどあなたがそれと折り合いをつけ始めたときチャットGPTの不気味な機能を利用して、OpenAI は AI 言語モデルの新しいバージョンをドロップしました。
OpenAI 言うGPT-4ChatGPT を強化する GPT-3 よりもはるかに高度です。そしてそれを証明するために、彼らは GPT-4 に多くの試験を受けさせました。 OpenAIGPT-4をテスト済み高校から大学院、専門レベルまで、数学、科学、コーディング、歴史、文学、さらにはソムリエになるためのテストにまで及ぶ、さまざまな標準テストがあります。試験は多肢選択問題と自由回答問題で構成され、GPT-4 は各試験の標準方法を使用して採点されました。
鉛筆を置いてください、GPT-4、スコアをチェックしてみましょう。
法科大学院は難しいですか？
GPT-4 はロースクールに入学しただけではなく、基準を通過しました。 AI 言語モデルは、LSAT (法科大学院入学試験) で 88 パーセンタイルのスコアを獲得し、司法試験 (統一司法試験) では 90 パーセンタイルのスコアを獲得してさらに優れた成績を収めました。比較すると、GPT-3 は LSAT の下位 40%、Bar では 10% でした。
大学入学試験は簡単だった
GPT-4 では、SAT の数学と読み書きのセクションの両方と、量的スキル、口頭スキル、およびライティング スキルに分類される GRE の 3 つのセクションすべてが受験されました。 GRE のライティング セクションを除くすべてのセクションの 80 パーセンタイルか 90 パーセンタイルでスコアを獲得しました...GRE のライティング セクションは 54 パーセンタイルで爆撃されたようなものでした。
マッシュ可能な光の速度
典型的な超達成者である GPT-4 も全てAP (Advanced Placement) 高校試験。いくつかの外れ値を除いて、84位から100位の間のスコアを獲得し、ほとんどのチームで成績をあげました。
GPT-4 のスコアは、AP 英語では 44 位、AP 英語文学ではわずか 22 位でした。したがって、言葉職人の皆さんには、GPT-4 があなたに取って代わるまでにもう少し時間がかかるかもしれません。 GPT-4 は、AP Calculus BC スコアで 43 位から 59 位の間であまり良い成績を収めませんでした。これは、スーパーコンピューターであっても微積分は簡単ではないことを証明しています。しかし、それでも GPT-4 の評価は 4 なので、大学の微積分からは外れてしまう可能性があります。
GPT-4 にはコーディング作業が必要です
GPT-4 にはコーディング スキルに関してまだ課題が残っていますが、市場での用途の 1 つが開発者を支援することであるため、これは興味深いことです。競技プログラミング イベントを主催する Codeforces の評価は 392 で、1199 未満の初心者カテゴリーにかなり落ち込んでいます。
Leetcode の簡単なレベルではかなりうまくいきました (41 問題中 31 問題が解決されました) が、中程度または難しいレベルの難易度になると苦戦しました (それぞれ 21/80 と 3/45)。で見たように、開発者デモのライブストリーム, GPT-4 は Python を作成する完全な機能を備えていますが、適切なパラメーターを設定するには手動で調整する必要があり、これがこれらのテスト スコアの一部を説明している可能性があります。あるいは、その朝朝食を食べていなかったのかもしれません。
さて、でも GPT-4 はソムリエになれるでしょうか?
GPT-4 はソムリエ試験に見事に合格しました。最も高度なソムリエ試験では最下位（77パーセンタイル）でした。しかし、ワインを味わったことのない人間以外の存在の場合は、そのことは無視しましょう。
OpenAI がリリースしたのは、完全な内訳GPT-4 のパフォーマンスについて説明します。 GPT-4 が次の偉大なアメリカ小説を書くことはまだないかもしれません...しかし、数学的に優れた弁護士およびワイン鑑定家としての GPT-4 の将来は非常に明るいように見えます。