ラマ2チームの中国人

The Heart of the Machine 編集者: Du Wei、Dan Jiang

LLaMA と比較して、Llama 2 の開発には多くの中国人学者が参加しています。

最近、Llama 2 のオープンソースにより、Yann LeCun をはじめとする多くの業界関係者が「大型モデルのパターンは大きく変わった」と直接語ります。

オープンソースに加えて、Meta は Llama 2 が商用利用無料であることも発表しました。Llama 2 は 70 億、130 億、700 億のパラメータバージョンを提供し、トレーニングデータは Llama 1 より 40% 増加し、2 兆トークンに達します。微調整されたチャットモデルは、人間がラベル付けした 100 万件のデータでトレーニングされています。

結果から、Llama 2 は、推論、コーディング、熟練度、知識テストを含む多くの外部ベンチマークにおいて他のオープンソース言語モデルよりも優れており、一部のデータセットでは GPT-3.5 に近づくこともでき、Google の PaLM と同等かそれを超えることもできます。 (540B)。

Meta のオープンソースへの取り組みへの取り組みを嘆く一方、注目は Llama 2 開発チームに向けられています。Gautier Izacard、Armand Joulin、Edouard Grave、Guillaume Lample、Timothee Lacroix など、LLaMA の中心的な著者の一部が Llama 2 の開発中に姿を消していることがわかります。

Llama 2 テクニカルレポート: https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

中心となる著者の変更に加えて、Llama 2 の約 70 人の著者の中には 10 人以上の中国人学者が含まれています。

『The Heart of the Machine』では、ラマ2の研究開発に参加した以下の中国人学者を整理している。間違いや漏れがある場合は、コメント欄で修正してください。

モヤ・チェン

Moya Chen はメタ大規模言語モデル (LLM) の研究エンジニアであり、7 月に一時的に退職しました。2015 年に入社して以来、彼女の仕事には、プラットフォーム/ビジネスレピュテーション、コンピューティングカメラ (CV、AR)、WorldXR (CV、AR、および XR)、FAIR Labs (チャットボット)、および FAIR/GenAI (LLM) が含まれます。

彼女はカリフォルニア工科大学でコンピューターサイエンスの学士号を取得しています。

ジェレミー・フー

Jeremy Fu は現在、FAIR の研究エンジニアであり、主な方向性は大規模言語モデルです。彼は以前、Instagram Machine Learning でコンテンツ理解とユーザーモデリングに取り組んでいました。2021年1月よりメタ社にフルタイムで勤務予定。

彼は、シドニーのニューサウスウェールズ大学でコンピューターサイエンスとビジネスの学士号を取得しています。

ウェンイン・フー

Wenyin Fu は現在、メタデータセンター ML パフォーマンスエンジニアとして、主に ML プラットフォームソリューション導入の大規模設計と最適化、および最適な容量 ROI を実現するデータセンターハードウェアソリューションの評価に従事しています。彼は 2019 年 5 月に Meta に入社し、以前は Nvidia、AMD、Intel で働いていました。

彼は上海交通大学を卒業し、電気電子工学の学士号を取得し、ウィスコンシン大学マディソン校で電気工学およびコンピュータ工学の博士号を取得しました。

シンシア・ガオ

Cynthia Gao は現在、メタプロダクトデータ運用部門のプロジェクトマネージャーで、主に機械翻訳および生成 AI ラージモデルの手動データアノテーションと収集プロジェクトに従事しています。以前はFAIRを含むさまざまな部門で働いていました。

彼女は北京師範大学、カリフォルニア大学デービス校（学士号、心理学および中国の言語と文化）とモントレー国際研究所（修士号、翻訳およびローカリゼーション管理）で学んだことがあります。

ルイ・ホウ

Rui Hou は現在、Meta GenAI の研究員として、生成 AI テクノロジーと関連する生産アプリケーションに重点を置いています。彼は、以前にトヨタ研究所などの組織でインターンを務めた後、2020 年 4 月にメタに入社しました。

同済大学で学士号を取得し、ミシガン大学で修士号（インテリジェントシステムとコンピュータサイエンスの二重学位）と博士号（インテリジェントシステム）を取得しました。

Google Scholar: https://scholar.google.com/quotes?user=PKHKqX0AAAAJ&hl=ja

ルー・インハイ

Yinghai Lu 氏は現在、Meta のチーフソフトウェアエンジニアであり、Meta インフラグループの AI 推論技術の責任者であり、現在生成 AI 推論の展開に従事しています。彼は 2016 年に Meta に入社し、広告とリールのレコメンデーションモデルの GPU 推論の導入を主導してきました。

同済大学で電気工学を専攻し卒業し、復旦大学で電気工学の博士号を取得しました。

Google Scholar: https://scholar.google.com/quotes?user=prBXsm8AAAAJ&hl=zh-CN

マオ・ユニン

Yuning Mao は現在、Meta GenAI 研究科学者であり、Jiawei 教授の指導の下、イリノイ大学アーバナシャンペーン校でコンピュータサイエンスの学士号と博士号を取得し、上海交通大学の IEEE 優等生クラスを卒業しました。ハンさん。

彼の研究の目標は、人々がより効果的かつ効率的に情報や知識にアクセスできるようにすることです。この目標を達成するために、テキストの要約と生成、質問応答、パラメータの効率的な微調整、分類法の構築など、幅広い研究テーマに取り組んできました。最近では、特に大型モデルの安全性に関して、Meta LLaMA モデルシリーズの開発に携わっています。

個人ホームページ：https://Morningmoni.github.io/

聶宜新

Yixin Nie は現在、Meta AI の研究員です。彼は中国地質大学を卒業し、学士号を取得し、シカゴ大学で修士号を取得し、ノースカロライナ大学チャペルヒル校でコンピューターサイエンスの博士号を取得しました。

彼の研究は機械学習と自然言語処理に焦点を当てており、彼の研究関心は機械による自然言語習得のアイデアに由来しています。

個人ホームページ：https://easonnie.github.io/

シャオチン・エレン・タン

Xiaoqing Ellen Tan は現在、Meta AI のデータサイエンス研究者です。彼女は 2018 年に中山大学で薬学とコンピュータサイエンスの学士号を取得し、2019 年から 2021 年にカーネギーメロン大学でコンピュータサイエンスの客員学生となり、2022 年にピッツバーグ大学で生物統計学の博士号を取得しました。

彼女の研究関心は、因果推論、データ統合、意思決定の公平性の分野における新しい統計および機械学習手法の開発にあります。

個人ホームページ：https://ellenxtan.github.io/

シュー・プーシン

Puxin Xu は現在、Meta AI のシニアデータエンジニアで、主にマルチモーダルデータセット (テキスト、画像、ビデオ) と大規模モデルの事前トレーニングデータに取り組んでいます。彼は中山大学で学士号 (人的資源と都市農村計画管理、統計学の二重専攻) を取得し、リーハイ大学で修士号 (工業工学およびシステム工学) を取得しました。

鄭燕

Zheng Yan は現在、Meta のソフトウェアエンジニアとして、AI を使用してアカウントアクセスチームが遭遇した問題を解決しています。以前は、スタンフォード大学のショーン N. パーカーアレルギーおよび喘息研究センターでデータアナリストとして働いていました。彼はスタンフォード大学でコンピューターサイエンスの学士号を取得しています。

ユチェン・チャン

Yuchen Zhang は現在、Meta AI のソフトウェアエンジニア (機械学習)/研究エンジニアとして、大規模モデル (言語/マルチモーダル) のトレーニングとスケーリング、および大規模モデルにおける責任ある AI の研究に取り組んでいます。彼女はエモリー大学で学士号を取得し、ペンシルベニア大学でエンジニアリングとデータサイエンスの修士号を取得しています。

個人ホームページ：https://zycalice.github.io/

アンジェラ・ファン