マイクロソフト軽量化の新バージョン、Phi-3 MiniをリリースAI特定のタスク向けに設計されたモデル。
研究論文によると出版された今週初めに、Phi-3 Mini のパラメータ数は 38 億個であり、OpenAI のような他のモデルよりも大幅に少ないです。GPT-4、スマートフォンに展開できるほど小型になっています。OpenAIGPT-4 が持つパラメーターの数は明らかにされていませんが、1 兆を超えるパラメーターがあると考えられていますセマフォー用。
関連項目:
従来の AI モデルは大量のコンピューティング能力を必要とし、非常に高価であり、膨大な二酸化炭素排出量。 Microsoft や Google などの企業は、一般的なタスクを処理する小型軽量モデルの開発に取り組んでいます。これにより、自社のモデルのホスティングが運用上の意味でより持続可能になり、業界が大きく傾いているスマートフォンにより適したものになります。サムスンは生成AIに全力で取り組むGoogle は、Galaxy デバイス向けの一連の機能に、生成的な機能も追加しています。Pixel ラインナップに AI 機能を搭載そして、Appleさえもいくつかの製品を作ることが期待されていますAIに関する大きな発表のためにiOS18。
マッシュ可能な光の速度
パラメーターは、モデルが複雑さにどのように対処できるかに関係するため、パラメーターが多いほど、モデルは膨大で微妙なリクエストを処理する能力が高くなります。しかし、翻訳、メールの下書きの手伝い、地元のレストランの検索など、平均的なユーザーが AI モデルに必要とする日常的なタスクの場合は、より小型の軽量モデルで十分であると考えられます。
Phi-3 Mini は、いくつかの例外を除いて、共通のベンチマークで Meta のオープンソース モデル Llama 3 および OpenAI の GPT-3.5 に対して同様のスコアを記録しました。 Llama 3 を上回り、自然言語理解 (MMLU) と常識推論 (HellaSwag) では GPT 3.5 をわずかに下回るスコアを獲得し、算術推論 (GSM8K) では両方のモデルを上回りました。論文が指摘しているように、雑学や「事実の知識」のスコアは低かったが、研究者らは「そのような弱点は検索エンジンで強化することで解決できる」と信じている。問題。
研究者は、高品質の教育情報の基準を満たす「厳しくフィルタリングされた Web データ」と合成データの組み合わせで Phi-3 Mini をトレーニングしました。これは、Web からすべてをスクレイピングすることがモデルをトレーニングする最良の方法であるという考えに疑問を投げかけます。によると、モデルは就寝前の話についてもトレーニングされました。デイリーAIこれは人間の脳の仕組みを理解する上で非常に意味のあることです。そのアイデアは、厳選されたデータで量より質を選択し、その効力を維持しながらより少ないパラメーターで実行できるようにすることです。
Phi-3 Mini は、HuggingFace、Azure、Ollama で利用できるようになりました。
