下のカードをクリックして、「 CVer」パブリックアカウントをフォローしてください
AI / CVの重い乾物、できるだけ早く配達
凹面寺院の
BoWen転載元：Qubit（QbitAI）
私はたくさんの顔を変えるのを見てきました、あなたは体を変える人を見たことがありますか？
顔を指定すると、自動的に下半身に変更でき、衣服、体型、肌の色にPSトレースはありません。
コアテクノロジーはもちろんおなじみのGANですが、違いは、体のすべての部分がPSになることができるということです。
顔、肌の色、衣服、髪の毛、体の他の部分、さらには体の動きまで、自由にデザインして組み合わせ、最終的に1024×1024の解像度の全身写真に「ステッチ」することができます。
そして、この「ステッチモンスター」には、ステッチ動作によって引き起こされる影や境界線はありません。
△上の顔は、影の境界が少ない新しい方法で生成されています
どうやってやったの？人体のさまざまな部分を生成するために使用されるGANをまとめます。
これは、画像生成のために事前にトレーニングされた複数のGANを組み合わせるためにアドビチームによって提案された最新の方法です。この論文は現在、CVPR2022に受け入れられています。
次に彼らがどのようにそれを行うかを見てみましょう。
PSを使用して人体をGANアウトする
冒頭で述べたように、これは複数のGANをつなぎ合わせる方法であり、研究チームはこれをInsetGANと呼んでいます。
GANには次の2つのタイプがあります。
Full-Body GAN （Full-Body GAN）は、中品質のデータでトレーニングされ、人体を生成します。
GANの一部。顔、手、足などの特定の部分でトレーニングされた複数のGANが含まれています。
これら2つのタイプのGANの連携は、PSに似ています。フルボディGANは、ベースラインドラフトがすでにあるキャンバスですが、一部のGANは互いに積み重ねられたレイヤーです。
ただし、境界線の異なる「レイヤー」がキャンバス上にスタックされている場合は、位置合わせの問題が発生する必要があります。
たとえば、顔を体に追加すると、歪みやディテールの喪失、肌の色調の一貫性、衣服の境界の自然さ、髪の毛のゆるみにアーティファクトが生じる可能性があります。
複数のGANをより適切に調整して、一貫したピクセルを生成するにはどうすればよいでしょうか。
研究チームはそのようなアーキテクチャを設計しました：
彼らは最初にバウンディングボックス検出器を導入して、下にあるキャンバス内の部分的なGANによって生成された特定の領域、つまり全身のGANによって生成された領域の位置を検出し、次にトリミング後に特定の領域を埋め込みました。
このプロセスは、2つの領域間でランダムな潜在コードを見つけることと同じです。これ により、選択した領域の境界を埋め込み領域と一致させて、シームレスな合成を行うことができます。
同時に、これら2つの領域もダウンサンプリングし、画像のピクセルコンテンツの一貫性を高めます。
この方法に基づいて、InsetGANはトレーニング後に複数の完全なポートレートを生成できますが、肌の色、髪の毛、および関連するポーズはそれに応じて調整できます。
研究チームはまた、全身のポートレートを生成する以前の方法であるCoModGANと比較しました。これは、左側の人体に基づいて顔を置き換えます。明らかに、InsetGANによって生成された顔はより自然です。
△上がInsetGAN、下がCoModGAN
著者について
この論文には、6人の著者がいます。5人はAdobe Researchから、1人はKing Abdullah University of Science and Technology（KAUST）からです。
その中には、AdobeのチーフサイエンティストであるJingwan Lu、PS2020のSmartPortrait、Skin Smoothing、Shading、Neural Stylizationなどのフィルターの主なアルゴリズム貢献者、およびRealBrushブラシコンポジターの開発者がいます。
彼女が現在率いるチームは、主にビッグデータと生成的AI（GANなど）を活用してビジュアルコンテンツを作成することに重点を置いています。
それで、あなたは家を離れることなく形を変える準備ができていますか？（手動犬の頭）
紙のアドレス：
https ：//arxiv.org/abs/2203.07293
支配链接：
[1] https://www.youtube.com/watch?v=YKFYEt5hvOo
[2] http://afruehstueck.github.io/insetgan/
ICCV和CVPR 2021论文和代码下载
后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
CVer-Transformer交流群成立
扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信: CVer6666，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看