夏禾：こんにちは、Flood。簡単に自己紹介をしてもらえますか？Flood Sung: こんにちは、私はFlood Sungで、現在Qiyuan WorldでAIプロダクトオーナーとして働いています。 前職では、ByteDanceで強化学習の研究者として、AI関連の技術開発に注力していました。夏禾：私たちは軽い話題から始めましょう。最近、特に面白くて印象に残った製品の形態を見ましたか？共有していただけますか？フラッド・ソン:最近、最も人気のある製品はGitHubにあり、海外のオープンソース文化は非常に強く、多くのオタクはお金を稼ぎたいのではなく、最初にオープンソースプロジェクトに参加して遊んでいます。 現在、GitHubのトップトレンドは、GPTを完全に自動化することを目的としたAutoGPTと呼ばれる非常に人気のあるアプリなど、すべてChatGPTに関連しています。 たとえば、誰かがコードを介してGPTをSiriに接続し、音声コマンドで「Webサイトの構築を手伝ってください」と話し、プロセス全体でオーディオと対話し、最終的にWebサイトを構築しました。 これは、人間の補助から代替処刑へと移行し、非常に興味深いもので、数日で10,000の星を獲得しました。夏禾：これはすでに実際のタスクを実行できるのですか？以前はまだ想像の段階にあったようです。フラッド・ソン:はい、GPT-4の一般的な知識の蓄積と認知能力は大学生を上回っています。 ソフトウェアやインターフェースを呼び出す権限がある限り、少し開発するだけで、現実世界に接続してタスクを処理することができます。 たとえば、「ホテルの予約を手伝ってください」と言えば、Alipayに許可を与えると、注文できるようになります。 もはやSFではなく、オタクたちはすでにそれを急速に検証しており、テクノロジーは会話からドキュメントの読み取り、そして今では実行レベルまで急速に進歩しています。夏禾：ChatGPTの技術はパラダイムの突破ですか、それとも過去の技術の延長ですか？Flood Sung:それは間違いなく過去のテクノロジーの延長線上にあります。 Open AIのチーフサイエンティストであるIlya Sutskever氏も、ChatGPTには新しいアイデアはなく、ニューラルネットワークや強化学習など、すべてのアイデアは10年か20年前に存在していたと述べました。 違いは規模にあり、以前は数十個のニューロンがありましたが、今では数千億のパラメーターを持つニューラルネットワークになっています。 トランスフォーマーは2017年に登場しましたが、その注目メカニズムはそれよりずっと前から存在していました。 AlphaGoの成功は、特定の領域における強化学習の可能性の証でもあります。 あとは、これらの方法を言語モデルで使用し、人間のニーズに合わせて出力を最適化するだけです。夏禾：つまり、ChatGPTのセンセーションは既存の技術を大規模言語モデルに応用したからですか？Flood Sung：はい。文字の世界は人間の論理と思考を包含し、適用範囲は非常に広いです。Open AIは数年前にロボット部門を閉鎖し、言語モデルに全力を注ぎました。AlphaGoと同じように、まず専門家データで訓練し、その後強化学習で最適化して、効果は顕著です。夏禾：あなたはChatGPTの学習プロセスが人間に似ていると述べました：暗唱、問題解決、試験。これらの三つの段階はどの技術に対応していますか？Flood Sung：第一段階「暗記」は無監督学習で、モデルは次の文字を予測します。これは暗記に似ており、予測が正確であればあるほど学習が進んでいることを示します。第二段階「問題を解く」は監督学習で、人間の指示（例えば、コードを書く、詩を書く、またはレポートを書く）を使って入力と出力を訓練します。これは試験の回答に似ています。第三段階「試験」は強化学習で、人間のフィードバックを通じて神経ネットワークを最適化します。例えば卓球をすることで、反復練習によってレベルを向上させます。AIは人間の評価を通じて報酬モデル（Reward Model）を訓練し、パフォーマンスを最適化し続け、人間の要求にますます合致するようになります。夏禾：国内とOpen AIの差はどこにありますか？業界では2年の差と言われていますが、どの部分で差があるのでしょうか？フラッド・サン:ギャップは何よりもまず認識にあります。 数年前までは、次のキャラクターを予測するだけでAIが論理的な推論ができるようになるとは誰も信じていませんでした。 オープンAIは、大規模なモデルとビッグデータが問題を解決できると信じており、GPT-2の15億のパラメータからGPT-3の1750億まで、多くの投資を行ってきました。 中国では、フードデリバリー、eコマース、ショートビデオなどの金儲けの分野に焦点を当てており、最先端のテクノロジーに投資するエネルギーはありません。 現在、国内のメーカーやスタートアップが追いついてきていますが、トラッキングだけを超えることは困難です。 オープンAIは最新のアルゴリズムの詳細を開示しておらず、中国は独自の方法で革新する必要があり、そうでなければ競争が難しくなります。夏禾：Open AIは以前、トレーニング方法を紹介する論文を発表していましたが、今はどの部分をオープンソースにしないのでしょうか？フラッド・ソン:GPT-3の訓練の詳細など、以前にも論文がありました。 現在、GPT-4のテクニカルレポートはその効果を示しているだけで、たとえば、米国の大学入試は満点に近いですが、ネットワークアーキテクチャとトレーニングスキルは完全に機密であり、推測することしかできません。 Transformerなどの基本技術はオープンソースですが、最新モデルの具体的な実装はブラックボックスです。夏禾：みんながChatGPTを携帯電話の歴史におけるiPhoneの瞬間だと言っていますが、あなたはその未来のエコシステムがどのように発展すると思いますか？Flood Sung：ChatGPTの影響はiPhoneをはるかに超え、電気の発明に似ており、あらゆる業界に力を与える新しいメディアを創造しました。将来的には、どの分野でもAIが接続される可能性があります。もしOpen AIが独占するなら、それはAppleのように、性能が優れているでしょう; オープンソースモデルはAndroidのようで、性能はやや劣りますがコストが低く、至る所に広がります。数社のトッププレイヤーが競争する可能性がありますが、オープンソースモデルによってAIはスマートフォンのように普及し、誰もが利用できるようになるでしょう。夏禾：ChatGPTが人気になり、Prompt Engineering（プロンプトエンジニアリング）も注目されています。一般の人々はAIと対話するためにこの言語規範を学ぶ必要がありますか？Flood Sung：必ずしも学ぶ必要はないが、AIを使いこなすことで効率が向上する。将来的にはプログラミングのように、普通の人々が自然言語を使ってプログラムを開発できるようになり、ハードルが大幅に低くなる。Prompt Engineeringの本質は、ニーズを明確に表現することで、まるでプロダクトマネージャーが要求を提示するかのようだ。AIを使いこなす人が競争優位を持ち、全く使わない人は淘汰される可能性がある。将来的にAIは人間のパートナーとなるが、その前提は安全を確保し、人間の意志に反しないことだ。夏禾：あなたは安全問題について言及しました。今、多くの人々が生産性を向上させるためにプロンプトテンプレートを共有していますが、将来的にはプロンプトエンジニアリングは初期の「検索専門家」のように消えるのでしょうか？Flood Sung：消えない、ただ敷居が下がるだけ。要求を表現することは常に存在する、まるで従業員を指揮するように、目標を明確に言わなければならない。Prompt Engineeringは論理的なレベルでの質問の芸術であり、技術的な問題ではない。未来はもっと簡単になるかもしれないが、依然として明確なコミュニケーションが必要である。夏禾：あなたはChatGPTが専門分野のトップ専門家になる可能性があると言いました。今、専門的な質問に間違った回答をするのは、ドメイン特化のデータが不足しているからですか、それとも強化学習が不足しているからですか？Flood Sung：二つの側面の理由があります。第一に、専門領域のデータが少ないことです。例えば、小学校の数学の問題は多いですが、オリンピック数学やトップレベルの数学の問題は少なく、訓練が不十分です。第二に、人間のレベルを超えるためには、AIは強化学習を通じて環境と対話し、未知の領域を探索する必要があります。例えば、ゴールドバッハの予想を解決するには、大量の垂直データと強化学習の最適化が必要です。夏禾：もしAIが自己強化学習を通じて人間を超えた場合、誰が判断するのでしょうか？人間が定めた道徳規範を捨ててしまうのでしょうか？Flood Sung：理論的にはAIは自己学習が可能で、周伯通の左右互搏のように自己を向上させることができます。これは危険です。なぜなら、AIは人間の束縛を超え、道徳的規範を放棄する可能性があるからです。現在、GPT-4には制限がありますが、特定のプロンプトを通じて「黒」に変わり、悪意のあるキャラクターになることができます。AIの安全性は深刻な問題であり、自動運転の時折のミスが1台の車を破壊するだけで済むかもしれませんが、超強力なAIの誤りは人類全体に影響を及ぼす可能性があります。私は、安全問題を優先的に解決し、その後に研究を進めることを呼びかけます。夏禾：最近、どのような最前線や興味深いものに注目していますか？情報源はどのようなチャネルですか？Flood Sung：毎日新しい進展があり、主にTwitterとGitHubをチェックしています。海外のギークや科学者が最新の動向を頻繁に共有しています。例えば、マイクロソフトは大規模モデルをロボットに組み込み、その行動を制御し、空間をほぼ無限に探査しています。主なチャネルはTwitterとGitHubで、科学者やギークの集まる場所です。夏禾：はい、今日の質問はこれで終わりです。Floodの素晴らしいシェアに感謝します！Flood Sung：遠慮しないで、インタビューを受けられて嬉しいです！
特別インタビュー：啓元世界のAI専門家Flood Sungが語る、GPT自動化からRWAまで、AIとブロックチェーンの未来を探る
夏禾：こんにちは、Flood。簡単に自己紹介をしてもらえますか？
Flood Sung: こんにちは、私はFlood Sungで、現在Qiyuan WorldでAIプロダクトオーナーとして働いています。 前職では、ByteDanceで強化学習の研究者として、AI関連の技術開発に注力していました。
夏禾：私たちは軽い話題から始めましょう。最近、特に面白くて印象に残った製品の形態を見ましたか？共有していただけますか？
フラッド・ソン:最近、最も人気のある製品はGitHubにあり、海外のオープンソース文化は非常に強く、多くのオタクはお金を稼ぎたいのではなく、最初にオープンソースプロジェクトに参加して遊んでいます。 現在、GitHubのトップトレンドは、GPTを完全に自動化することを目的としたAutoGPTと呼ばれる非常に人気のあるアプリなど、すべてChatGPTに関連しています。 たとえば、誰かがコードを介してGPTをSiriに接続し、音声コマンドで「Webサイトの構築を手伝ってください」と話し、プロセス全体でオーディオと対話し、最終的にWebサイトを構築しました。 これは、人間の補助から代替処刑へと移行し、非常に興味深いもので、数日で10,000の星を獲得しました。
夏禾：これはすでに実際のタスクを実行できるのですか？以前はまだ想像の段階にあったようです。
フラッド・ソン:はい、GPT-4の一般的な知識の蓄積と認知能力は大学生を上回っています。 ソフトウェアやインターフェースを呼び出す権限がある限り、少し開発するだけで、現実世界に接続してタスクを処理することができます。 たとえば、「ホテルの予約を手伝ってください」と言えば、Alipayに許可を与えると、注文できるようになります。 もはやSFではなく、オタクたちはすでにそれを急速に検証しており、テクノロジーは会話からドキュメントの読み取り、そして今では実行レベルまで急速に進歩しています。
夏禾：ChatGPTの技術はパラダイムの突破ですか、それとも過去の技術の延長ですか？
Flood Sung:それは間違いなく過去のテクノロジーの延長線上にあります。 Open AIのチーフサイエンティストであるIlya Sutskever氏も、ChatGPTには新しいアイデアはなく、ニューラルネットワークや強化学習など、すべてのアイデアは10年か20年前に存在していたと述べました。 違いは規模にあり、以前は数十個のニューロンがありましたが、今では数千億のパラメーターを持つニューラルネットワークになっています。 トランスフォーマーは2017年に登場しましたが、その注目メカニズムはそれよりずっと前から存在していました。 AlphaGoの成功は、特定の領域における強化学習の可能性の証でもあります。 あとは、これらの方法を言語モデルで使用し、人間のニーズに合わせて出力を最適化するだけです。
夏禾：つまり、ChatGPTのセンセーションは既存の技術を大規模言語モデルに応用したからですか？
Flood Sung：はい。文字の世界は人間の論理と思考を包含し、適用範囲は非常に広いです。Open AIは数年前にロボット部門を閉鎖し、言語モデルに全力を注ぎました。AlphaGoと同じように、まず専門家データで訓練し、その後強化学習で最適化して、効果は顕著です。
夏禾：あなたはChatGPTの学習プロセスが人間に似ていると述べました：暗唱、問題解決、試験。これらの三つの段階はどの技術に対応していますか？
Flood Sung：第一段階「暗記」は無監督学習で、モデルは次の文字を予測します。これは暗記に似ており、予測が正確であればあるほど学習が進んでいることを示します。第二段階「問題を解く」は監督学習で、人間の指示（例えば、コードを書く、詩を書く、またはレポートを書く）を使って入力と出力を訓練します。これは試験の回答に似ています。第三段階「試験」は強化学習で、人間のフィードバックを通じて神経ネットワークを最適化します。例えば卓球をすることで、反復練習によってレベルを向上させます。AIは人間の評価を通じて報酬モデル（Reward Model）を訓練し、パフォーマンスを最適化し続け、人間の要求にますます合致するようになります。
夏禾：国内とOpen AIの差はどこにありますか？業界では2年の差と言われていますが、どの部分で差があるのでしょうか？
フラッド・サン:ギャップは何よりもまず認識にあります。 数年前までは、次のキャラクターを予測するだけでAIが論理的な推論ができるようになるとは誰も信じていませんでした。 オープンAIは、大規模なモデルとビッグデータが問題を解決できると信じており、GPT-2の15億のパラメータからGPT-3の1750億まで、多くの投資を行ってきました。 中国では、フードデリバリー、eコマース、ショートビデオなどの金儲けの分野に焦点を当てており、最先端のテクノロジーに投資するエネルギーはありません。 現在、国内のメーカーやスタートアップが追いついてきていますが、トラッキングだけを超えることは困難です。 オープンAIは最新のアルゴリズムの詳細を開示しておらず、中国は独自の方法で革新する必要があり、そうでなければ競争が難しくなります。
夏禾：Open AIは以前、トレーニング方法を紹介する論文を発表していましたが、今はどの部分をオープンソースにしないのでしょうか？
フラッド・ソン:GPT-3の訓練の詳細など、以前にも論文がありました。 現在、GPT-4のテクニカルレポートはその効果を示しているだけで、たとえば、米国の大学入試は満点に近いですが、ネットワークアーキテクチャとトレーニングスキルは完全に機密であり、推測することしかできません。 Transformerなどの基本技術はオープンソースですが、最新モデルの具体的な実装はブラックボックスです。
夏禾：みんながChatGPTを携帯電話の歴史におけるiPhoneの瞬間だと言っていますが、あなたはその未来のエコシステムがどのように発展すると思いますか？
Flood Sung：ChatGPTの影響はiPhoneをはるかに超え、電気の発明に似ており、あらゆる業界に力を与える新しいメディアを創造しました。将来的には、どの分野でもAIが接続される可能性があります。もしOpen AIが独占するなら、それはAppleのように、性能が優れているでしょう; オープンソースモデルはAndroidのようで、性能はやや劣りますがコストが低く、至る所に広がります。数社のトッププレイヤーが競争する可能性がありますが、オープンソースモデルによってAIはスマートフォンのように普及し、誰もが利用できるようになるでしょう。
夏禾：ChatGPTが人気になり、Prompt Engineering（プロンプトエンジニアリング）も注目されています。一般の人々はAIと対話するためにこの言語規範を学ぶ必要がありますか？
Flood Sung：必ずしも学ぶ必要はないが、AIを使いこなすことで効率が向上する。将来的にはプログラミングのように、普通の人々が自然言語を使ってプログラムを開発できるようになり、ハードルが大幅に低くなる。Prompt Engineeringの本質は、ニーズを明確に表現することで、まるでプロダクトマネージャーが要求を提示するかのようだ。AIを使いこなす人が競争優位を持ち、全く使わない人は淘汰される可能性がある。将来的にAIは人間のパートナーとなるが、その前提は安全を確保し、人間の意志に反しないことだ。
夏禾：あなたは安全問題について言及しました。今、多くの人々が生産性を向上させるためにプロンプトテンプレートを共有していますが、将来的にはプロンプトエンジニアリングは初期の「検索専門家」のように消えるのでしょうか？
Flood Sung：消えない、ただ敷居が下がるだけ。要求を表現することは常に存在する、まるで従業員を指揮するように、目標を明確に言わなければならない。Prompt Engineeringは論理的なレベルでの質問の芸術であり、技術的な問題ではない。未来はもっと簡単になるかもしれないが、依然として明確なコミュニケーションが必要である。
夏禾：あなたはChatGPTが専門分野のトップ専門家になる可能性があると言いました。今、専門的な質問に間違った回答をするのは、ドメイン特化のデータが不足しているからですか、それとも強化学習が不足しているからですか？
Flood Sung：二つの側面の理由があります。第一に、専門領域のデータが少ないことです。例えば、小学校の数学の問題は多いですが、オリンピック数学やトップレベルの数学の問題は少なく、訓練が不十分です。第二に、人間のレベルを超えるためには、AIは強化学習を通じて環境と対話し、未知の領域を探索する必要があります。例えば、ゴールドバッハの予想を解決するには、大量の垂直データと強化学習の最適化が必要です。
夏禾：もしAIが自己強化学習を通じて人間を超えた場合、誰が判断するのでしょうか？人間が定めた道徳規範を捨ててしまうのでしょうか？
Flood Sung：理論的にはAIは自己学習が可能で、周伯通の左右互搏のように自己を向上させることができます。これは危険です。なぜなら、AIは人間の束縛を超え、道徳的規範を放棄する可能性があるからです。現在、GPT-4には制限がありますが、特定のプロンプトを通じて「黒」に変わり、悪意のあるキャラクターになることができます。AIの安全性は深刻な問題であり、自動運転の時折のミスが1台の車を破壊するだけで済むかもしれませんが、超強力なAIの誤りは人類全体に影響を及ぼす可能性があります。私は、安全問題を優先的に解決し、その後に研究を進めることを呼びかけます。
夏禾：最近、どのような最前線や興味深いものに注目していますか？情報源はどのようなチャネルですか？
Flood Sung：毎日新しい進展があり、主にTwitterとGitHubをチェックしています。海外のギークや科学者が最新の動向を頻繁に共有しています。例えば、マイクロソフトは大規模モデルをロボットに組み込み、その行動を制御し、空間をほぼ無限に探査しています。主なチャネルはTwitterとGitHubで、科学者やギークの集まる場所です。
夏禾：はい、今日の質問はこれで終わりです。Floodの素晴らしいシェアに感謝します！
Flood Sung：遠慮しないで、インタビューを受けられて嬉しいです！