FlyAIアルゴリズム競争プラットフォームの最初の経験

数日前、私はAINLPパブリックアカウントで新しい国内AIアルゴリズム競争プラットフォームFlyAIを共有しました:FlyAIアルゴリズム競争:何百万もの現金報酬がリアルタイムで分割されます。FlyAIアルゴリズム競争プラットフォームのより興味深い点の1つはそれです関連するトラックの賞金プールをリアルタイムで共有できます。FlyAIの公式GPUリソ​​ースを十分に活用して、モデルをトレーニングし、オンラインで結果を送信します。これは、GPUの状態がない学生にとっても非常に魅力的です。

テキストマイニングやコンピュータービジョン関連のAIデータコンペティションについては、インターンシップの機会が少ない場合、ある程度の実務経験を積むことができると思います。コンペティション担当者は、通常、各タスクのベースラインプロセスを準備します。プラットフォームとタスクに精通しているので、これは良い学習の機会でもあります。AIChallengerの中国語-英語機械翻訳コンペティションを通じて、NMTのプロセス全体と関連ツールおよびアルゴリズムに精通していました。興味のある学生は、「AIチャレンジャー2017アドベンチャー」および「AIチャレンジャー2018簡単なメモを参照できます

FlyAIアルゴリズム競争プラットフォームに関して、公式の紹介は次のとおりです。

FlyAIは、北京SmartWorks Technology Co.、Ltd。の子会社の下にあるワンストップサービスプラットフォームであり、AI開発者にデータコンペティション(ディープラーニング)を提供し、GPUオフライントレーニングをサポートします。プロジェクトの無料のオープンソースアルゴリズムサンプルを毎週提供します。サンプルで使用される開発フレームワークには、TensorFlow、Keras、PyTorchが含まれ、アルゴリズム機能と高速反復アルゴリズムモデルの実現をサポートします。チャレンジャーは全員FlyAIにいます!

4つの主要な機能:

1.高品質のデータセット、複数の分野でのオープンソースプロジェクトの事例

1.1プロジェクトの対象分野:自然言語処理、画像認識、音声認識など。

1.2毎週、高品質プロジェクトの専用コードサンプルを更新し、無料でダウンロードして表示します

1.3マルチプラットフォーム操作、ワンクリック構成学習環境をサポート

2マルチカードGPUリソ​​ースのワンクリック使用

2.1強力な計算能力を提供し、モデルの品質をすばやく反復します

2.2オフライントレーニングサービスのワンクリック送信とモデルトレーニングの進捗状況のタイムリーな通知

3能力の実現、競争力のあるプロジェクトの強さのランキング

3.1チャレンジアイテムでランキングを更新し、高い報酬を獲得する

3.2さまざまなディープラーニングフレームワークを使用して、アルゴリズム機能を検証および改善します

4業界全体のデジタル化とAI需要リリースプラットフォーム

4.1アルゴリズムのクラウドソーシングを通じて、製品データの成長を促進するための正確な予測モデルが確立されます

4.2データの才能と企業のニーズの生態学的構築を探る

FlyAIでの自然言語処理に関連するコンテストはそれほど多くありませんが、公式声明は引き続き更新され、興味のある学生は細心の注意を払うことができます。FlyAIでの現在のNLP関連のコンテストには、捜狗ニューステキスト分類予測、アメリカのレビューWebサイトYelp評価予測コンテスト、テストコンステレーションテキスト分類、製品スコアに基づく製品推奨アルゴリズムの演習、人工知能、およびカプレットが含まれます。最初の3つには実際のボーナスがあり、最後の2つはFAIポイントを獲得する練習ゲームです。これは、プラットフォームでのGPUトレーニングリソースの消費に使用できますが、AINLPの専用リンク(https:// www .flyai.com /?s = u9Fn9rW4f)FlyAIコンペティション-AINLP公式グループに登録して参加すると、Miss FlyAIに直接ポイントを集めるように依頼できます。現在、グループには300人近くが参加しており、公式技術者が質問に答えます。コードを直接スキャンして参加することはできなくなりました。グループの前に、AINLPの専用リンクから登録してから、AINLP Jun(id:AINLP2)を追加して、グループに参加してください。 FlyAIを示します:

https://www.flyai.com/?s=u9Fn9rW4f

さて、ナンセンスな話をやめてください。私は休暇中にFlyAIの競争プロセスを体験するのに時間をかけました。例として、捜狗ニュースのテキスト分類と予測の競争を取り上げます。これは典型的なテキストの複数分類の問題です。

コンテストの
概要このデータセットは、2012年6月から7月までのいくつかのニュースサイトからの国内、国際、スポーツ、社会、娯楽を含む18のチャネルのニュースデータから取得されます。ニュース本文の内容に基づいてニュースカテゴリを分析する

参加方法
:エントリー時間:このコンテストには時間制限はなく、長期間オープンしています。

応募方法は?
プロジェクト詳細ページの[今すぐ登録]ボタンをクリックしてください。初めて携帯電話番号を確認して登録情報を入力する必要がある場合は
、このページの[ダウンロード]ボタンをクリックしてコンテスト資料をダウンロードし、 README.mdファイルの詳細。

首先即使注册FlyAI了,参加单项比赛点击【立即报名】的时候也需要再填写一下姓名和手机号信息,这个和之后的奖励有关,每个平台都差不多,填写完之后就会刷新为【资料下载】,下载资料后其实里面的README写得非常详尽,这里要赞一下FlyAI的团队,如果不出什么意外,其实通过这份README基本上可以在Linux、Mac OS和windows平台下走通FlyAI的比赛流程,以下是我在ubuntu16.04下的记录,走得是Linux & Mac方法,windows下的使用方法相似,请直接参考官方README文件。

首先对下载的sogouNews_FlyAI.zip进行解压,然后进入到项目的根目录下,相关文档、样例代码和执行脚本官方平台已准备好:

图片

在Ubuntu下使用 ./flyai 脚本文件:

chmod +x ./flyai

执行下列命令并使用微信扫码登录

./flyai init

登录成功之后,会自动下载运行所需环境

本地开发调试

如果想本地开发测试,可以执行

./flyai test

或者安装项目所需依赖requirements.txt,运行 main.py

提交训练到GPU

项目中如有新的引用,需加入到 requirements.txt 文件中

我没有修改一行样例代码,所以在终端下直接执行

./flyai train

返回sucess状态,代表提交离线训练成功

图片

训练结束会以微信和邮件的形式发送结果通知

图片

默认训练成功后不公开在项目排行榜中,如果你修改了代码并希望公开项目可以在提交训练时执行

./flyai train -p=1

完整训练设置执行代码示例:

./flyai train -p=1 -b=32 -e=100

通过执行训练命令,本次训练循环 100 次,每次训练读取的数据量为 32 ,公开提交模型

其实官方的README写得已经很详尽了,以下选择README中的代码部分的说明,样例代码已经实现了,也是一份不错的学习资源。
 

样例代码说明

app.yaml

是项目的配置文件,项目目录下必须存在这个文件,是项目运行的依赖。

processor.py

样例代码中已做简单实现,可供查考。

处理数据的输入输出文件,把通过csv文件返回的数据,处理成能让程序识别、训练的矩阵。

可以自己定义输入输出的方法名,在app.yaml中声明即可。

     (, ):
        




        

     (, ):
        




        
    
     (, ):
main.py

样例代码中已做简单实现,可供查考。

程序入口,编写算法,训练模型的文件。在该文件中实现自己的算法。

通过dataset.py中的next_batch方法获取训练和测试数据。

dataset  Dataset()
x_train, y_train, x_test, y_test  dataset.next_batch()

通过model.py中的save_model方法保存模型

model  Model(dataset)
model.save_model()

如果使用PyTorch框架,需要在net.py文件中实现网络。其它用法同上。

model.py

样例代码中已做简单实现,可供查考。

训练好模型之后可以继承flyai.model.base包中的base重写下面三个方法实现模型的保存、验证和使用。

    (, ):
        




        

     (, ):
        




        
   
     (, , , , ):
        







        .check(path, overwrite)
predict.py

样例代码中已做简单实现,可供查考。

对训练完成的模型使用和预测。

path.py

可以设置数据文件、模型文件的存放路径。

dataset.py

该文件在FlyAI开源库flyai.dataset包中,通过next_batch(BATCH)方法获得x_train y_train x_test y_test数据。

FlyAI开源库可以通过pip3 install -i https://pypi.flyai.com/simple flyai 安装。

最后,如果你在实际操作前后依然遇到问题,欢迎加入FlyAI竞赛-AINLP官方群,这里可以直接找FlyAI小姐姐要积分的,里面有官方技术人员答疑,目前该群已接近300人,无法通过直接扫码加入,请添加AINLP君(id: AINLP2)拉你入群,请务必注明FlyAI:

图片


おすすめ

転載: blog.51cto.com/15060464/2678521