随着移动设备的普及和摄像头的高像素化，利用相机进行文本识别成为了一种流行的方式。MLKit 是 Google 提供的一款机器学习工具包，其中包含了丰富的图像和语言处理功能，包括文本识别。PreviewView 是 Android Jetpack 的一部分，它提供了一个方便的预览相机图像的视图组件。结合 MLKit 和 PreviewView，我们可以轻松构建出一个功能强大的文本识别应用程序。
添加依赖
为了使用 MLKit 和 PreviewView，我们需要在项目的 build.gradle 文件中添加相应的依赖项。以下是所需的依赖项：
// camera
def camerax_version = "1.2.1"
implementation "androidx.camera:camera-core:${camerax_version}"
implementation "androidx.camera:camera-camera2:${camerax_version}"
implementation "androidx.camera:camera-lifecycle:${camerax_version}"
implementation "androidx.camera:camera-video:${camerax_version}"
implementation "androidx.camera:camera-view:${camerax_version}"
implementation "androidx.camera:camera-extensions:${camerax_version}"
// To recognize Chinese script
implementation 'com.google.mlkit:text-recognition-chinese:16.0.0'
以上依赖项包含了与相机操作和中文文本识别相关的库。
XML 布局
在布局文件中，我们需要添加一个 PreviewView（相机预览视图），一个按钮用于开始/停止文本识别，以及一个用于显示识别结果的 TextView。以下是布局文件的示例代码：
<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="vertical"
tools:context=".MainActivity">
<androidx.camera.view.PreviewView
android:id="@+id/pre_view"
android:layout_width="match_parent"
android:layout_height="0dp"
android:layout_weight="1" />
<Button
android:id="@+id/btn_operation"
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:text="点击停止文本识别"
android:layout_marginHorizontal="16dp" />
<TextView
android:id="@+id/tv_content"
android:layout_width="match_parent"
android:layout_height="0dp"
android:layout_weight="1"
android:padding="6dp" />
</LinearLayout>
上述布局文件包含了一个垂直排列的 LinearLayout，其中包含了一个 PreviewView、一个按钮和一个用于显示识别结果的 TextView。
代码实现
在代码实现部分，首先检查相机权限
<manifest xmlns:android="http://schemas.android.com/apk/res/android">
<uses-permission android:name="android.permission.CAMERA"/>
</manifest>
在权限被授予时初始化相机，进行文本识别。我们设置按钮的点击事件监听器，根据当前相机的状态执行相应的操作。当按钮被点击时，我们会根据相机的状态开始或停止文本识别，默认处于识别状态中。
class MainActivity : AppCompatActivity() {
private lateinit var binding: ActivityMainBinding
private var cameraProvider: ProcessCameraProvider? = null
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
binding = ActivityMainBinding.inflate(layoutInflater)
setContentView(binding.root)
requestPermission()
binding.btnOperation.setOnClickListener {
cameraProvider?.let {
binding.btnOperation.text = "点击开始文本识别"
cameraProvider?.unbindAll()
cameraProvider = null
} ?: run {
binding.btnOperation.text = "点击停止文本识别"
setupCamera()
}
}
}
// 其他方法和实现代码...
}
在 onCreate() 方法中，我们设置了按钮的点击事件监听器。当按钮被点击时，我们根据当前的相机状态执行相应的操作。如果相机已经初始化并正在运行，我们会停止文本识别并释放相机资源。如果相机未初始化或已停止，我们将开始文本识别并设置相机。
接下来，我们实现了请求相机权限的方法 requestPermission()，并在 onCreate() 方法中调用它。在 onRequestPermissionsResult() 方法中，我们检查相机权限的授权结果。如果权限被授予，我们将调用 setupCamera() 方法初始化相机。如果权限被拒绝，我们将显示一个简短的提示消息。
/**
* 申请相机权限
*/
private fun requestPermission() {
if (ContextCompat.checkSelfPermission(this, Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED) {
ActivityCompat.requestPermissions(this, arrayOf(Manifest.permission.CAMERA), CAMERA_PERMISSION_CODE)
} else {
setupCamera()
}
}
override fun onRequestPermissionsResult(requestCode: Int, permissions: Array<out String>, grantResults: IntArray) {
super.onRequestPermissionsResult(requestCode, permissions, grantResults)
if (requestCode == CAMERA_PERMISSION_CODE) {
if (grantResults.isNotEmpty() && grantResults[0] == PackageManager.PERMISSION_GRANTED) {
setupCamera()
} else {
Toast.makeText(this, "权限被拒绝", Toast.LENGTH_SHORT).show()
}
}
}
在 requestPermission() 方法中，我们检查相机权限并请求授权。如果权限已被授予，我们将调用 setupCamera() 方法初始化相机。
/**
* 设置相机
*/
private fun setupCamera() {
val cameraProviderFuture = ProcessCameraProvider.getInstance(this)
cameraProviderFuture.addListener({
val cameraProvider = cameraProviderFuture.get()
bindPreview(cameraProvider)
}, ContextCompat.getMainExecutor(this))
}
在 setupCamera() 方法中，我们使用 ProcessCameraProvider 获取相机实例，并通过 bindPreview() 方法将相机与 PreviewView 绑定。
/**
* 绑定 preview
*/
private fun bindPreview(cameraProvider: ProcessCameraProvider) {
this.cameraProvider = cameraProvider
val preview = Preview.Builder().build()
val cameraSelector = CameraSelector.DEFAULT_BACK_CAMERA
preview.setSurfaceProvider(binding.preView.surfaceProvider
)
val analysis = ImageAnalysis.Builder()
.setOutputImageFormat(ImageAnalysis.OUTPUT_IMAGE_FORMAT_YUV_420_888)
.setBackpressureStrategy(ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST)
.build()
analysis.setAnalyzer(Executors.newSingleThreadExecutor(), this::analyzeImage)
cameraProvider.bindToLifecycle(this, cameraSelector, preview, analysis)
}
在 bindPreview() 方法中，我们创建了一个 Preview 实例，并将其与默认后置摄像头绑定。然后，我们设置 PreviewView 的 SurfaceProvider，并创建一个 ImageAnalysis 实例用于图像分析。通过设置图像分析器的回调方法，我们可以在每帧图像上执行文本识别。
/**
* 解析文本
*/
@SuppressLint("UnsafeOptInUsageError")
private fun analyzeImage(imageProxy: ImageProxy) {
val image = imageProxy.image ?: return
val inputImage = InputImage.fromMediaImage(image, imageProxy.imageInfo.rotationDegrees)
val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build())
recognizer.process(inputImage)
.addOnSuccessListener {
result ->
binding.tvContent.text = result.text
}
.addOnCompleteListener {
// 释放ImageProxy对象
imageProxy.close()
}
.addOnFailureListener {
// 处理识别过程中的错误
it.printStackTrace()
imageProxy.close()
}
}
通过实现了 analyzeImage() 方法，用于分析图像并执行文本识别。在该方法中，我们首先将 ImageProxy 转换为 InputImage，然后创建一个中文文本识别器。接下来，我们使用识别器对图像进行处理，并在成功完成时更新 TextView 的内容。无论成功与否，最后都会关闭 ImageProxy。这里如果我们想识别图片（Bitmap）中的文字可以调用 InputImage.fromBitmap 方法即可。
演示
Ok，到这里我们文本识别的功能 demo 就实现了， 看看效果吧：
总结
通过结合 MLKit 和 PreviewView，我们可以轻松实现 Android 应用程序中的文本识别功能。在本篇文章中，我们详细讲解了如何使用 MLKit 和 PreviewView 实现文本识别。感兴趣的小伙伴可参考 Demo 地址：TextRecognition