文章目录
一、添加MLKIT机器学习库
首先,新建 FlowerClassifierApp 程序,项目github代码详见
MLKIT 是机器学习套件,其提供了预训练的模型,可识别600类图像。在 build.gradle(app) 中添加 implementation 'com.google.mlkit:image-labeling:17.0.7'
依赖
在 activity_main.xml 中设置如下布局:
<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
tools:context=".MainActivity">
<LinearLayout
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="vertical"
app:layout_constraintStart_toStartOf="parent"
app:layout_constraintTop_toTopOf="parent">
<ImageView
android:id="@+id/imageToLabel"
android:layout_width="match_parent"
android:layout_height="match_parent" />
<Button
android:id="@+id/btnTest"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_gravity="center"
android:text="Label Image" />
<TextView
android:id="@+id/txtOutput"
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:layout_gravity="start|top"
android:ems="10" />
</LinearLayout>
</androidx.constraintlayout.widget.ConstraintLayout>
activity_main.xml 布局设置后,效果如下:
然后,在 app 中新建 assetFolder,示例如下:
在网上下载图片,并放置在 app/assets/flower1.jpg 路径,示例如下:
放置后,效果如下:
二、实现图像分类
在 MainActivity 中初始化各控件,并利用 MLKIT 机器学习库,读取图像,做分类,代码如下:
package com.bignerdranch.android.flowerclassifierapp
import android.content.Context
import android.graphics.Bitmap
import android.graphics.BitmapFactory
import android.os.Bundle
import android.util.Log
import android.widget.Button
import android.widget.ImageView
import android.widget.TextView
import androidx.appcompat.app.AppCompatActivity
import com.google.mlkit.vision.common.InputImage
import com.google.mlkit.vision.label.ImageLabeling
import com.google.mlkit.vision.label.defaults.ImageLabelerOptions
import java.io.IOException
class MainActivity : AppCompatActivity() {
private val TAG = "MainActivity"
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_main)
val img: ImageView = findViewById(R.id.imageToLabel)
val fileName = "flower1.jpg"
val bitmap: Bitmap? = assetsToBitmap(fileName)
bitmap?.apply {
img.setImageBitmap(this) }
val txtOutput: TextView = findViewById(R.id.txtOutput)
val btn: Button = findViewById(R.id.btnTest)
btn.setOnClickListener {
val labeler = ImageLabeling.getClient(ImageLabelerOptions.DEFAULT_OPTIONS) // 实例化 labeler
val image = InputImage.fromBitmap(bitmap!!, 0)
var outputText = ""
labeler.process(image).addOnSuccessListener {
labels ->
for (label in labels) {
val text = label.text
val confidence = label.confidence
outputText += "$text : $confidence\n"
}
txtOutput.text = outputText
}.addOnFailureListener {
e ->
Log.e(TAG, "failed $e")
}
}
}
}
// extension function to get bitmap from assets
fun Context.assetsToBitmap(fileName: String): Bitmap? {
return try {
with(assets.open(fileName)) {
BitmapFactory.decodeStream(this)
}
} catch (e: IOException) {
null
}
}
运行后,输入自然图片,其分类结果为花的 confidence 为 0.97,分类结果为 Sky 的 confidence 为 0.71,效果如下:
运行后,输入猫的图片,Cat 的 confidence 为 0.99,Dog 的 confidence 为 0.71,分类效果如下: