（この記事は、元のリンクであるLiu Zhiyuan Zhihu先生のコラムから複製されています：https：//zhuanlan.zhihu.com/p/93765082 ）
1.背景説明
ACL 2020の提出期限が近づいているので、クラスメートと集中的に話し合い、どの研究アイデアがACLに提出するのに適しているか、そしてヒットするチャンスがあるかについて議論します。私の10年以上の研究経験から判断すると、研究のアイデアが良いかどうか、そしてこれらの研究のアイデアがどこから来たのかをどのように判断するかは、初心者にとって確かに難しい問題です。そこで、この短い記事を集めて、NLPの分野に参入したばかりの新入生に役立つことを願って、いくつかの経験とアイデアを共有しました。間違いがあれば訂正してください。
ウォン・カーウァイの映画「グレートマスター」には古典的な武道コンテストがあり、ゴング大統領はイェ・ウェンに「今日、私たちは武道よりも優れている。アイデアよりも優れている」と語った。実際、優れたアイデアやアイデアは、優れた研究結果の精神でもあります。コンピュータの分野では、「IDEAは安い、コードを見せて」ということわざがあります。これは、実践を重視するコンピュータ分野では、アイデアの質が実際の効果に依存することも示しています。良い研究のアイデアがどこから来るのかについて話しましょう。
2.良いアイデアと見なされるもの
2015年に、私はWeiboにジョークを書きました。
MLスクールは、アメリカ合衆国の山中にあります。過去1世紀の間に、武道の才能が数多く出現し、世界で最も有名な学校になりました。武道の入門には3つのセットがあります。ゲート：グラフモデルと円、ニューラルネットワークレイヤー、最適化目標と規則性。証拠として童謡があります：ML入門スキルに堪能で、作曲できないだけでなく、嘲笑もあります。
2018年、私は短い段落を続けました：
数年以内に、ノーザンDLゴッドセクトが誕生しました。内部栽培とは、学習、ニューラルネットワークの外部トレーニング、およびドア、注意、記憶、対立、強化などの多くの精神的方法を意味します。ImageNetの戦いの後、AlphaDogは到達不能でした。しばらくの間、すべての家族が錬金術のかまどを作り、誰もが錬金術を作るのに忙しく、弟子たちが集まり、多くの信者がいました。証拠として童謡があります。左側にビッグデータ、右側にNvidiaがあり、常に上部に錬金術で忙しいです。
ニューラルネットワークのグラフモデル追加サークル、ニューラルネットワーク追加レイヤー、最適化目標追加規則性、ゲート、注意、メモリなどはすべて、モデルのパフォーマンスを向上させる革新的なアイデアであり、主要なNLPタスクによって広く使用および公開されています。それらはさまざまなNLPタスクによって繰り返し使用および公開され、やや美的に疲れており、より深い革新的なアイデアが不足しているためです。一部のネット市民や学者は、それらを「灌漑」と批判しています。これは良いアイデアではないようです。
では、良いアイデアは何ですか？「良い」という言葉には少なくとも2つのレベルの意味があることを理解しています。
3.懲戒処分の観点から「良い」
学術研究の本質は、未知の分野の探求と未解決の質問への答えの検索です。したがって、学問分野の発展を促進するという観点から、良い研究アイデアが何であるかを判断するための基準は、まず「新しい」という言葉にあります。
過去に、人工知能の主題には呪いがあるということわざがありましたが、解決された（または解決された）人工知能のどの部分も、もはや「人間の知性」を表すとは見なされません。コンピュータビジョン、自然言語処理、機械学習、ロボット工学は、おそらくまだ解決されておらず、「人間の知性」の尊厳を表すことができるため、人工知能の主な方向性として依然としてリストされています。そして、私たちは革新的な研究を行い、これらの問題を解決するための新しいアイデアを提案したいと考えています。「新しい」という言葉は、新しい問題やタスクを提起し、新しい解決策を模索し、新しいアルゴリズムテクノロジーを提案し、新しいツールシステムを実現することで具体化できます。
「新しさ」を確保することに基づいて、研究アイデアが良いかどうかは、それが学問分野の発展にどれだけ貢献しているかに依存します。ディープラーニングがこのように顕著な影響を与える理由は、人工知能の自然言語処理、音声認識、コンピュータービジョンなど、すべての重要な方向に革命的な影響を与えるためです。これにより、非構造化信号（音声、画像、テキスト）セマンティック表現の技術的なルート。
4.研究と実践の観点から「良い」
それだけで十分な「新しい」アイデアではありませんか？新しい方が良いですか？すべきではないと思います。実行できるアイデアだけが分析の対象となるからです。したがって、研究と実践の観点から、研究アイデアの実現可能性と検証可能性も考慮する必要があります。
実現可能性は、アイデアがその実現をサポートするのに十分な数学または機械学習ツールを持っているかどうかに反映されます。検証可能性は、アイデアに適切なデータセットと広く受け入れられている評価基準があるかどうかに反映されます。多くの民間科学者のアイデアが学界に認められない理由は、これらのアイデアが実現可能性と検証可能性に欠けていることが多いためです。それらは架空の紙にとどまり、幻想的なアイデアにすぎません。
V.優れた研究アイデアはどこから来るのか
アイデアが良いかどうかは、白黒の二分法の問題ではなく、時々変化し、一人一人に合ったスペクトルのような連続分布の問題です。コンピュータサイエンスとテクノロジーの分野の発展には、蓄積のプロセスと移行の特異点の両方があります。蓄積の量が変化した場合にのみ、質的な変化があります。3番目の蒸しパンはいっぱいです。これは最初の2つも理由です。蒸し饅頭が底を作ります。
現在、学術研究は非常に専門的な職業になり、多くの研究者が集まっています。「公開または消滅」とは、学術専門職に従事する人々（教授、研究者、大学院生など）がバランスをとるのに十分な仕事をしなければならず、研究者のすべての仕事が「ノーベル賞」または「ツーリング」であることを要求できないことを意味します。賞」レベル公開する価値があります。それが研究分野の発展に貢献する限り、同僚が前進するのを助けるために出版する価値があります。魯迅は、「天才は自分たちで荒野で育つモンスターではなく、天才を育てることができる人たちによって生み出され育てられているので、そのような人がいなければ天才は存在しません。この巨大な研究者グループは、天才の成長の大衆的基盤です。同時に、新しい学者も革新的な研究と訓練を開発しており、常に良いアイデアを見つける能力を磨いています。魯迅はまた、「天才であっても、出生時の最初の叫びは普通の子供と同じです。良い詩。
では、優れた研究アイデアはどこから生まれるのでしょうか。まず第一に、良い研究アイデアと悪い研究アイデアを区別する能力が必要であると結論付けます。これには、研究の方向性の歴史と現在の状況を徹底的かつ包括的に理解すること、特に主題文献を包括的に把握することが必要です。人間は最も熟達した動物であり、既存の文献のさまざまな研究期間のアイデアを学習オブジェクトとして使用し、提案された後の主題の開発への影響を理解することができます-特に論文の引用に反映されています、学術的評価およびその他の側面---研究アイデアの良い点と悪い点の評価モデルを確立します。良いアイデアと悪いアイデアを区別するすべての特徴ベクトルを分析して一覧表示することは困難ですが、人間の脳の強力な学習能力は、十分な入力が与えられている限り、ニューラルネットワークで判別モデルを自動的に学習して確立できます過去から学ぶデータ今日、Weizhiの作品を見ると、これはしばしば学術的洞察と呼ばれるものかもしれません。
ある程度の研究をした学生は、自分の研究方向の文献しか読んでいないと感じ、まだ新しいアイデアはあまりありません。なぜなら、私が読んだのはリサーチクエスチョンが終わったときの考えだけであり、それ自体が新しいアイデアを生み出すことはできないからです。新しいアイデアを生み出す方法は？私は、3つの可能な基本的なアプローチがあると結論付けています。
練習方法。つまり、研究タスクで利用可能な最高のアルゴリズムを実装することです。たとえば、実験結果を分析することにより、これらのアルゴリズムの計算の複雑さが非常に高く、特にトレーニングの収束が遅いことを発見したり、アルゴリズムのエラー例が明らかなパターンを示していることを発見したりします。既存のアルゴリズムを改善するためのアイデアを刺激することができます。多くの自然言語処理タスクのリーダーボードにある最新のアルゴリズムは、エラーサンプルを分析して、ターゲットを絞った方法でアルゴリズムを改善することに基づいています[1]。
類推。リサーチクエスチョンと他のタスクとの類似関係を確立し、他の同様のタスクに関する最新の効果的なアイデア、アルゴリズム、またはツールを調査し、合理的な変換と移行を通じて現在のリサーチクエスチョンに適用しようとしています。たとえば、注意メカニズムはニューラルネットワークの機械翻訳で大成功を収めました。当時、注意は主に単語レベルで確立されていましたが、その後、私たちの研究グループのLinYankaiとShenShiqiは、関係抽出の遠隔監視トレーニングデータ。ノイズ問題のラベル付け[2]、これは類推です。
組み合わせ方法。新しい研究問題は、いくつかの十分に解決されたサブ問題に分解され、新しい研究問題の解決策は、これらのサブ問題のベストプラクティスを有機的に組み合わせることによって確立されます。たとえば、知識グラフを統合するために提案する事前トレーニング言語モデルは、BERTやTransEなどの既存のアルゴリズムを融合して構築された新しいモデルです[3]。
格闘技の最高レベルが勝つためのトリックがないということと同じように、優れた研究アイデアは上記のパスに限定されません。多くの場合、それらは研究者の研究問題に対する深い理解、包括的に豊富な研究経験、および創意工夫。「エピファニー」の成果。初心者の方は、ドアを垣間見るのは難しいかもしれません。基本的なスキルから始める必要があります。多くの科学的研究と実践的なトレーニングを経て、部屋に入る感覚を味わうことができます。
科学研究の実践の過程で、多数の文献を読んで歴史を理解し、綿密な思考と要約を通じて洞察を生み出すことに加えて、活発で開かれた学術交流と感覚という不可欠な仕事もあります。協力の。異なる研究分野におけるアイデアと結果の交換と衝突は、革新的なアイデアの新しい源を提供するだけでなく、「アナロジー」と「洞察」の機会も提供します。歴史を知ることで、人工知能の提案は、数学、コンピューターサイエンス、サイバネティックス、情報理論、脳科学、その他の分野の交差点の産物であることがわかります。1980年代に人気の深層学習である並列分散処理（PDP）の起源は、コンピューターサイエンス、脳認知科学、心理学、生物学などの分野の研究者の協力の産物でもあります。以下は、1986年に出版された有名な本「並列分散処理：認知の微細構造の探索」の第1巻の表紙です。
著者は序文で協力プロセスについて話し、最初の6か月間は、週に2回会合を開き、研究の進捗状況について話し合った。
プロジェクトには約6か月かかると予想しました。私たちは1982年1月に、多くの同僚を集めてこれらのトピックに関するディスカッショングループを形成することから始めました。最初の6か月間、私たちは週に2回会い、これらの巻で提示されたほとんどの作業の基礎を築きました。
この本で提供されているPDP研究グループのメンバーのリストは、40年経った今でも、その高度な機関間および学際的な機能に驚かされます。したがって、研究課題に焦点を当てることを前提として、科学研究研修において積極的な学術交流を維持することを特にお勧めします。講義を聞いたり、学会に出席したり、選択科目を受講したりする場合でも、意識的に幅を広げます。小さな同僚だけでなく、手の届かないと思われる研究分野の学術パートナーとも交流します。研究経験が充実することで、より幅広い学術報告書があればあるほど、より刺激を受け、自分をワクワクさせるような研究アイデアが生まれることを、ますます強く感じるようになります。
6.初心者は何をすべきか
論文を読んだり、論文を書いたり、実験計画法などに比べて、優れた研究アイデアを生み出す方法は、ルールに基づくリンクではなく、従うべき固定されたパラダイムを要約することは困難です。川を渡るポニーのように、自分の研究経験を積むには多くの訓練と練習が必要です。ただし、初心者の場合は、参照する必要のある単純で実行可能な原則がまだいくつかあります。
論文の公開可能な価値は、論文と最も直接関連する作品との間のデルタに依存します。私たちの研究作業のほとんどは、前任者の作業に基づいています。ニュートンは言った：私が他の人より遠くを見るならば、それは私が巨人の肩の上に立っているからです。私の意見では、論文の研究アイデアの価値を判断することは、それがどの巨人に立っているか、そしてこれに基づいてそれがどこまで上がったかを見ることです。逆に、研究を始める準備をする前に、研究のアイデアを形成するときに、どの巨人に立ち向かうのか、そしてどのようにさらに進むのかを明確にする必要があるかもしれません。既存の研究に直接関係するデルタは、この研究アイデアの価値を決定します。
果物狩りや骨を噛むのに気をつけてください。人々は一般的に、低ハンギングフルーツと考えるのが簡単な研究アイデアを呼びます。ぶら下がっている果物は簡単に摘み取ることができますが、同時に摘み取る人も多く、果物を摘むと考えに悩まされやすくなります。たとえば、2018年には、BERTが主導する事前トレーニング言語モデルが大きな進歩を遂げ、2019年半ばには多くの改善作業が行われました。その中で、クロスモーダル事前トレーニングモデルが例として取り上げられました。わずか数か月、http：//arxiv.orgさまざまなチームからの画像とテキストの融合の6つ以上の事前トレーニング済みモデルがあります[4]。それについて考える立場に身を置き、クロスモーダルの事前トレーニングモデルの調査を実施することは、考えやすい方向です。予測する能力が必要です。世界には多くのチームが存在することを知っています。応募する場合は、この調査を同時に実施してください。この分野は、より深く、独特であり、独自の貢献をしている必要があります。相対的に言えば、これらの困難な問題については、それに対処する人が少なくなります。また、硬い骨に飛び込むのも良い選択です。もちろん、それができないリスク、またはリスクに直面することもあります。あなたがそれをするときにあまり注目されないことの。学生は、自分の特性、経験、ニーズに基づいて、2種類の研究アイデアを考慮する必要があります。
複数の研究作業の主題の連続性に注意してください。学生の研究研修は数年続くことが多いです。内部の論理の統一性を確保するために、前後の複数の研究トピックの継続性に注意を払う必要があります。これらの研究結果を履歴書、海外に申請する際の個人的な声明、またはさまざまな賞やプレゼンテーションにまとめることができることを考慮し、これらの研究作業を実行するための全体的な目標と全体的なアイデアを述べる必要があります。客観的に言えば、人工知能の分野での研究ペースは速く、技術は急速に更新されるため、結果の公開も小型化され、短く、速くなる傾向があります。私にはビジネススクールや社会科学の友人がいますが、彼らの研究には1年、あるいは数年以上かかることがよくあります。高性能コンピューティングとコンピューターネットワークの研究サイクルは比較的長いです。小さなステップや速い走りなどの人工知能の特性により、多くの学生は、修士や博士課程の学生はもちろんのこと、学部を卒業しても複数の論文を発表することになります。この場合、トピックを研究する際には、作業の前後の連続性と照応関係に特に注意を払う必要があります。いくつかの研究成果をまとめると、それらが互いに分離されているのか、それとも研究の全体的な認識とレイアウト能力を特に反映する統一された目標のために懸命に取り組んでいるのかを判断することはできません。たとえば、下の写真は、2018年に私たちの研究グループのTu Cunchao博士が卒業したときの、博士論文「ソーシャルコンピューティングのネットワーク表現学習」の章の設定です。全体として、「ソーシャルコンピューティングのいくつかの重要な問題」よりも優れています。 "および本質的に関連していない他の書き込み方法。より説得力があります。もちろん、初心者にとっては、最初から5年間の研究計画を明確に考えることはできません。しかし、考えているかどうかにかかわらず、結果はまだ異なります。
研究のダイナミクスとトレンドを要約して把握し、時間とともに移動するように注意してください。2019年、知乎は「2019年のNLPの分野で、限られたリソースを持つ個人/チームができる価値のある有望な仕事は何ですか？」という質問をしました。当時の私の答えは次のとおりでした。
業界がグループ化し始めた問題は、過去20年間に商用アプリケーションで広く使用されてきた言語認識や顔認識など、主要な未解決の問題がほぼ解決されたことを示していると思います。最近のBERTとGPT-2を見ると、ディープラーニングの能力を最大化して大規模なデータに適合させることが重要であることがわかります。ディープラーニングのテクノロジールートは基本的に成熟しているという前提の下で、大企業は強力なコンピューティング機能を備えています。より多くのデータを使用し、モデルを大きくし、効果によりよく適合させることができます。
成熟したハイテクの商業競争への参入は、ムーアの法則の開発法にほぼ準拠します。現在、BERTやその他のトレーニングは手が届かないようですが、計算能力やその他の要因の発達により、おそらく数年以内に、誰もがBERTとGPT-2を簡単にトレーニングできるようになり、誰もが同じスタートラインに立つでしょう。次の挑戦的な問題にシフトしました。
したがって、純粋なデータ駆動型テクノロジーでは解決できない問題を事前に検討することをお勧めします。常識と知識の推論、複雑なコンテキストとクロスモーダルの理解、説明可能なインテリジェンスなど、NLPとAIの難しいタスクは、まだ実行可能な解決策がありません。個人的には、データ駆動型の方法が完全に解決できるとは楽観的ではありません。関連付け、作成、洞察などの高レベルの認知能力は、さらに手つかずのままです。これらは、先見の明のある研究者が注意を払い始めるべき方向です。
異なる期間における研究のダイナミクスと傾向が異なることに注意する必要があります。これらのダイナミクスとトレンドを把握することで、研究コミュニティにとって興味深い結果を得ることができます。そうでなければ、研究結果に変化がなくても、ほんの数年前でも後でも、結果は大きく異なります。たとえば、2013年に公開され2014年から2016年の間に単語表現学習に関する研究を行ったword2vec。ACLやEMNLPなどの会議への入場は比較的簡単ですが、2017年から2018年には、ACLや他の会議の単語は学習に関連していることを示しています仕事は比較的まれです。
セブン。最後の補足
この短い記事は、主に初心者が新しいアイデアを探す過程でいくつかの経験と注意事項を紹介することを目的としています。皆さんが回り道を避けてくれることを願っています。しかし、文学を読み、深く考え、拒否された原稿を受け取り、継続的な改善を行うには、まだ食事をしなければなりません。学術研究と論文の出版は、個人にとって高い給与と奨学金を意味するかもしれませんが、その最終的な目標は、学問分野の発展を本当に促進することです。したがって、試験に耐えられる学術研究を行うためには、「真」と「新」が鍵となり、常にそれを守り、熱心に取り組む必要があります。
有名な歴史家で清華大学の卒業生であるHeBingdi氏は、自伝「歴史を読み、世界を読む60年」で、有名な数学者LinJiaqiaoからの勧めに言及しました。決して二流の質問をしてはいけません。」各分野に固有の、一流とは何かという質問は異なる意見を持っていますが、それは実際には内面の「真実を求める」態度を示しています。
参照
[1] https：//paperswithcode.com/＆http：//nlpprogress.com/
[2] Yankai Lin、Shiqi Shen、Zhiyuan Liu、Huanbo Luan、MaosongSun。インスタンスに対する選択的注意を伴う神経関係の抽出。計算言語学会第54回年次総会（ACL2016）。
[3] Zhengyan Zhang、Xu Han、Zhiyuan Liu、Xin Jiang、Maosong Sun、QunLiu。ERNIE：有益なエンティティによる言語表現の強化。第57回計算言語学会年次総会（ACL2019）。
[4] https：//github.com/thunlp/PLMpapers：
過去のレビュー：
学者のZhangBoは、この栄誉を受賞した史上2番目の科学者であるWu Wenjun Artificial Intelligence Highest AchievementAwardを受賞しました。