NDK学习笔记：JNI调用Java层方法创建Native的AudioTrack播放PCM
题目有点复杂，不过确实就是那么回事。这章想记录的内容比较多，先列出来：
- native static 与 native的参数列表 区别
- JNI 调用 Java的方法（相关API、方法签名的获取）
- native使用java对象 常用实用技巧。
废话不说，直接撸码
public class ZzrFFPlayer {
public native int playMusic(String media_input_str);
/**
* 创建一个AudioTrac对象，用于播放
* @param sampleRateInHz 采样率
* @param nb_channels 声道数
* @return AudioTrack_obj
* // 使用流程
* AudioTrack audioTrack = new AudioTrack
* audioTrack.play();
* audioTrack.write(audioData, offsetInBytes, sizeInBytes);
*/
public AudioTrack createAudioTrack(int sampleRateInHz, int nb_channels){
//固定格式的音频码流
int audioFormat = AudioFormat.ENCODING_PCM_16BIT;
//声道布局
int channelConfig;
if(nb_channels == 1){
channelConfig = android.media.AudioFormat.CHANNEL_OUT_MONO;
} else {
channelConfig = android.media.AudioFormat.CHANNEL_OUT_STEREO;
}
int bufferSizeInBytes = AudioTrack.getMinBufferSize(sampleRateInHz, channelConfig, audioFormat);
AudioTrack audioTrack = new AudioTrack(
AudioManager.STREAM_MUSIC,
sampleRateInHz, channelConfig,
audioFormat,
bufferSizeInBytes, AudioTrack.MODE_STREAM);
return audioTrack;
}
// ...
}我们在ZzrFFPlayer新建两个函数，native的playMusic 和 java方法createAudioTrack。用于创建AudioTrack对象。注意native方法不带static，是一个成员方法。
audio_track_fields audioTrackCtx; // 自定义全局变量
JNIEXPORT jint JNICALL
Java_org_zzrblog_mp_ZzrFFPlayer_playMusic(JNIEnv *env, jobject instance, jstring media_input_jstr)
{
// 模板代码，参考上篇文章内容
// ... ...
//16bit 44100 PCM 数据的实际内存空间。
uint8_t *out_buffer = (uint8_t *)av_malloc(MAX_AUDIO_FARME_SIZE);
//根据声道布局 获取 输出的声道个数
int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);
// 调用java创建AudioTrack
createAudioTrackContext(env, instance, out_sample_rate, out_channel_nb);
// AudioTrack.play
(*env)->CallVoidMethod(env, audioTrackCtx.audio_track, audioTrackCtx.audio_track_play_mid);
int ret;
while(av_read_frame(pFormatContext, packet) >= 0)
{
if(packet->stream_index == audio_stream_idx)
{
ret = avcodec_send_packet(pCodecContext, packet);
if(ret < 0) {
LOGE("avcodec_send_packet：%d\n", ret);
continue;
}
while(ret >= 0) {
ret = avcodec_receive_frame(pCodecContext, frame);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
LOGD("avcodec_receive_frame：%d\n", ret);
break;
} else if (ret < 0) {
LOGW("avcodec_receive_frame：%d\n", AVERROR(ret));
goto end; //end处进行资源释放等善后处理
}
if (ret >= 0)
{
swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FARME_SIZE, (const uint8_t **) frame->data, frame->nb_samples);
//获取sample的size
int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,
frame->nb_samples, out_sample_fmt, 1);
// 进入Android.AudioTrack播放PCM的流程
//AudioTrack.write(byte[] int int)
//需要byte数组,把out_buffer缓冲区数据转成byte数组,对应jni的jbyteArray
jbyteArray audio_data_byteArray = (*env)->NewByteArray(env, out_buffer_size);
jbyte* fp_AudioDataArray = (*env)->GetByteArrayElements(env, audio_data_byteArray, NULL);
memcpy(fp_AudioDataArray, out_buffer, (size_t) out_buffer_size);
(*env)->ReleaseByteArrayElements(env, audio_data_byteArray, fp_AudioDataArray,0);
// AudioTrack.write PCM数据
(*env)->CallIntMethod(env,audioTrackCtx.audio_track,audioTrackCtx.audio_track_write_mid,
audio_data_byteArray, 0, out_buffer_size);
//！！！释放局部引用，要不然会局部引用溢出
(*env)->DeleteLocalRef(env,audio_data_byteArray);
usleep(1000 * 16);
}
}
}
av_packet_unref(packet);
}
LOGD("媒体文件.PCM结束\n");
// ... ...
}playMusic的实现与上篇文章内容一样，我们直接到关键部分。
首先回答第一个问题：native static 与 native的参数列表区别就在于jni传入的第二个参数。static代表的是类方法，所以第二个参数传入的 jclass 类型的，是说明调用 此方法的类 类型。对应java的 java.lang.Class ; 而非static方法就是传统的成员方法，第二个传入的参数是jobject，代表的是当前调用的对象。 我们通过jobject 通过API 获取 jclass。
接下来我们开始分析第二个关键点：JNI 调用 Java的方法生成java对象。
typedef struct {
jobject audio_track;
jmethodID audio_track_play_mid;
jmethodID audio_track_write_mid;
} audio_track_fields;
audio_track_fields audioTrackCtx;
int createAudioTrackContext(JNIEnv *env, jobject instance, int out_sample_rate, int out_channel_nb)
{
jclass player_class = (*env)->GetObjectClass(env, instance);
//java.AudioTrack对象
jmethodID create_audio_track_mid = (*env)->GetMethodID(env,player_class,"createAudioTrack","(II)Landroid/media/AudioTrack;");
jobject audio_track = (*env)->CallObjectMethod(env, instance, create_audio_track_mid, out_sample_rate, out_channel_nb);
if(audio_track!=NULL) {
audioTrackCtx.audio_track = audio_track;
} else {
return -1;
}
//java.AudioTrack.play方法
jclass audio_track_class = (*env)->GetObjectClass(env,audio_track);
jmethodID audio_track_play_mid = (*env)->GetMethodID(env,audio_track_class,"play","()V");
//(*env)->CallVoidMethod(env,audio_track,audio_track_play_mid);
if(audio_track_play_mid!=NULL) {
audioTrackCtx.audio_track_play_mid = audio_track_play_mid;
} else {
return -2;
}
//java.AudioTrack.write方法
jmethodID audio_track_write_mid = (*env)->GetMethodID(env,audio_track_class,"write","([BII)I");
//(*env)->CallIntMethod(env,audio_track,audio_track_write_mid, audioData, offsetInBytes, sizeInBytes);
if(audio_track_write_mid!=NULL) {
audioTrackCtx.audio_track_write_mid = audio_track_write_mid;
} else {
return -3;
}
return 0;
}很多传统的Java程序员，即使他们懂C++，可能都会对JNI这个中间人充满恐惧，感觉无法掌握NDK开发的正确姿势。回归正题，JNI 调用 Java的方法其实并不难，需要把握以下几个关键点：
1、搞清楚持有者的类型。即jclass，或者是从 jobject 得到 jclass。这一点不难理解。对象.方法，有了对象才有方法。
2、找到调用的方法。这一步可能就让很多人懵逼了。方法还需要找？一个点，编译器就会给出提示了啊。AS针对Android的开发者为了提高效率，它已经提前帮大家找全并全部展示给开发者。在NDK的开发中我们要怎么去找到方法呢？根据方法的名字和参数列表的签名。方法名字很好理解，那么这里的签名要怎么搞了。通过上方的实例代码，大家可能很难理解，所以我们需要结合下方表格。
| 数据类型 | 签名字符 | 特殊说明 |
| void | V | 一般用于表示方法的返回值 |
| boolean | Z | |
| byte | B | |
| char | C | |
| short | S | |
| int | I | |
| long | J | |
| float | F | |
| double | D | |
| 数组 | [ | 以[开头，几个[表示几维数组，配合其他签名字符，表示对应数据类型的数组，例如byte数组 => [B |
| 对象引用类型 | L全类名; | 以L开头、;结尾，中间是引用类型的全类名 |
先看几个简单的例子模拟方法签名：
public void test1(){} ()V
public void test2(String str) (Ljava/lang/String;)V
public String str test3(String str){} (Ljava/lang/String;)Ljava/lang/String;
在回头看看我们自己写的java方法 AudioTrack createAudioTrack(int sampleRateInHz, int nb_channels)；参数两个int，返回的是Andoird系统定义的AudioTrack，所以我们先写两个参数 (II) 然后紧接着就是返回值的签名 Landroid/media/AudioTrack; 最终得出完整的签名 => (II)Landroid/media/AudioTrack;
搞清楚签名之后我们调用GetMethodID( JNIEnv*, jclass, const char*, const char* )从 对象的类 中获取到对应方法的 方法ID。
有方法ID之后，我们就可以针对某个对象调用其方法了，借助Call<type>Method(JNIEnv*, jobject, jmethodID, ...); 系列的API。其中的<type>就是返回的类型，当返回是void的时候对应CallVoidMethod，返回是int的时候对应CallIntMethod，这里我们返回的是AudioTrack是一个对象，所以对应调用的是CallObjectMethod。 至此我们就得到了JNI中使用的AudioTrack对象。
但是在实际开发中，经常会用一个结构体代表一组与类对象相关连的方法签名，如下所示：
typedef struct {
jobject audio_track;
jmethodID audio_track_play_mid;
jmethodID audio_track_write_mid;
} audio_track_fields;
audio_track_fields audioTrackCtx;在这里因为play方法和write方法都是在其他地方调用的，所以暂时把方法签名缓存到结构体当中。
既然获取到了AudioTrack这个jobject了，就可以去播放PCM的音频数据了。我们直接到解码的while内部的代码：
if (ret >= 0)
{
swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FARME_SIZE, (const uint8_t **) frame->data, frame->nb_samples);
//获取sample的size
int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,frame->nb_samples, out_sample_fmt, 1);
//AudioTrack.write(byte[] int int) 需要byte数组,对应jni的jbyteArray
//需要把out_buffer缓冲区数据转成byte数组
jbyteArray audio_data_byteArray = (*env)->NewByteArray(env, out_buffer_size);
jbyte* fp_AudioDataArray = (*env)->GetByteArrayElements(env, audio_data_byteArray, NULL);
memcpy(fp_AudioDataArray, out_buffer, (size_t) out_buffer_size);
(*env)->ReleaseByteArrayElements(env, audio_data_byteArray, fp_AudioDataArray,0);
// AudioTrack.write PCM数据
(*env)->CallIntMethod(env,audioTrackCtx.audio_track,audioTrackCtx.audio_track_write_mid,
audio_data_byteArray, 0, out_buffer_size);
//！！！释放局部引用，要不然会局部引用溢出
(*env)->DeleteLocalRef(env,audio_data_byteArray);
usleep(1000 * 16);
}明显这个while内部就是调用AudioTrack.write(byte[] int int)的地方，我们一个个把所需的参数找出来。第一个参数是pcm的byte[]数组，第二个参数是数组首地址的偏移，第三个是数组大小。
byte数组对应jni的jbyteArray，然后解码得出的pcm数据在out_buffer缓冲区，我们需要把out_buffer缓冲区数据转成byte数组。怎么做？首先肯定是要new一个jbyteArray（NewByteArray），然后获取jbyteArray这个对象的首地址jbyte*（GetByteArrayElements），然后利用标准c函数memcpy把out_buffer开始的out_buffer_size大小的内存数据 拷贝 到jbyte*首地址所指向的内存区（jbyteArray），复制了还没完工，需要调用ReleaseByteArrayElements告诉jbyteArray对象已经对首地址操作完毕了，赶紧同步一下数据。
现在我们可以调用AudioTrack.write写入PCM数据(*env)->CallIntMethod(env,audioTrackCtx.audio_track,audioTrackCtx.audio_track_write_mid, audio_data_byteArray, 0, out_buffer_size); 注意AudioTrack.write是有返回值int的。然后CallIntMethod（env，jobject，methorid，...）前三个固定值之后就是传入可变参数列表，这个列表就是对应write的(byte[] int int)的三个参数。
还没完！JNI 是属于NDK的一部分，NDK的内存是不归GC管理的。所以NewByteArray出来的jbyteArray要记得DeleteLocalRef，要不然就会出现（local reference overflow）局部引用溢出。
项目github地址：https://github.com/MrZhaozhirong/BlogApp