arXiv で最も関連性の高い論文をワンクリックで検索できます。ChatGPT のおかげで、数日で完了します。
論文検索ツールも登場し始めているようです！
毎日論文を検索する友人にとって、便利な検索ツールがあれば、効率は大幅に向上します。
しかし、実際には検索ツールが強力でなかったり、入力したキーワードが機能しなかったりするのですが、いずれにしても頭の中にある探したい論文と検索結果は無関係とは言えません。それらは単純に異なります。
論文検索の悩みを解決してくれるのが、これから紹介する arXiv Xplorer という arXiv 上の論文の意味検索に特化した Web サイトです。プロジェクトの作成者によると、サイトの内部アルゴリズムは OpenAI の最新の埋め込みモデルを使用して、ユーザーが最も関連性の高い論文を見つけるための検索クエリを実行します。
arXiv Xplorer アドレス: https://arxivxplorer.com/
プロジェクトの作成者は、OpenAI の新しい埋め込み API に感銘を受けたため、その埋め込みが実際にどのように使用されるかを確認したいと述べました。そこで彼はプロジェクトの構築に数日を費やしましたが、これまでのところ非常にうまく機能しています。さらに、ChatGPT を使用して UI の 80% を作成し、pinecone を使用してベクトル データベースを保存し、googlecloud 関数を使用してクエリを埋め込み、検索を実行しました。
埋め込みモデルについて詳しく知りたい場合は、Web サイトにアクセスして参照してください。
埋め込みモデル: https://openai.com/blog/new-and-improved-embedding-model/
arXiv Xplorer を使用すると、必要な論文を見つけることができます。説明が非常に曖昧だったり、「興味深い ML 論文」などの情報量の少ない説明を入力しただけであっても、エンジンがそれを完成させるのに役立ちます。以下に示すように、いくつかのキーワードを入力すると、Web サイトによって表示されたクエリ結果が表示されます。
その過程で、Google や arXiv 独自の検索などの従来の検索ツールではこれまで見たことのない興味深い論文を発見することもできますが、arXiv Xplorer はそれよりもさらに優れているようです。
arxiv の URL を貼り付けて、類似した論文を直接検索することもできます。たとえば、下図の入力は論文「A Generalist Agent」のアドレスです。検索結果が表示されます (赤枠)。 Agentが100%、その他の検索結果がスコア順に展開されます。
さらに、上の赤枠内の小さな三角形をクリックすると、以下のようなインターフェースになり、論文参加者と抄録が表示されます。以下の 2 つの機能があります。 ; 「表示」をクリックすると、arXiv 上の論文のホームページにリンクします。
この完全に機能するウェブサイトを見たネチズンは好奇心を抑えきれず、「OpenAIの埋め込み技術を使用しましたが、この技術は有料ですが、いくら払ったのですか？」と尋ねました。プロジェクトの作成者によると、「CS カテゴリにすべての論文 (約 500,000 件の論文) を埋め込むには 40 ドルかかります。」
一部のネチズンは、「この Web サイトにはすべての arXiv タイトルが埋め込まれているのですか?」など、このテクノロジーに関する一連の質問を提起しました。プロジェクトの作成者は、「彼はすべての論文のタイトルと要約を埋め込み、最初は手動でコサイン類似度とソートを行いました。でも松ぼっくりを使えば超簡単！」
一部のネチズンは、「このツールの検索機能は非常に優れています。リリース日ごとに表示して並べ替えることができれば素晴らしいでしょう。」と提案しましたが、これについてプロジェクト作成者は、今後も最適化を続けて達成するよう努めると述べました。より充実した機能です。
参考リンク：https://twitter.com/tomtumiel/status/1611729847700570118 ?s=20&t=sW31zy64CvhMH81ntcxzXw