iOS - 机器学习《三》

前言：

　　承接上文，上次只是找了些理论资料与代码，最近有时间就写了一个demo，一片崩。。。

　　简单说下这次的demo吧，还是想做一个自动识别判断影评的模型。

一、构建训练数据

　　1、我本来准备的数据是这样的

[
    {
        "text":"这部电影真好看","label":"好评"
    },
    {
        "text":"太烂了","label":"差评"
    },
    {
        "text":"一般般，不算差也不算好","label":"中评"
    },

　　　　但是这个数据不能直接用于训练，目前iOS的ML不支持中文，所以我把中文转成16进制，好评中评差评转成字符串0，1，2来区分。

　　2、代码

//1.读取JSON文件
    NSMutableArray *textList = [[NSMutableArray alloc] init];
    NSData *JSONData = [NSData dataWithContentsOfFile:[[NSBundle mainBundle] pathForResource:@"MLData" ofType:@"json"]];
    NSString *str  =[[NSString alloc] initWithData:JSONData encoding:NSUTF8StringEncoding];
    str = [self removeSpaceAndNewline:str];
//    NSLog(@"%@",str);
    
    NSError *error;
    NSArray *dataPathList = [NSJSONSerialization JSONObjectWithData:JSONData options:NSJSONReadingMutableContainers error:&error];
    if (dataPathList.count == 0){
        NSLog(@"JSON解析失败");
        return ;
    }
    
    //2.将JSON文件的汉字处理成64编码
    [dataPathList enumerateObjectsUsingBlock:^(NSDictionary *obj, NSUInteger idx, BOOL * _Nonnull stop) {
        NSString *moviceContent = obj[@"text"];//影评内容
        moviceContent = [self hexStringFromString:moviceContent];
        
        NSString *moviceType = obj[@"label"];//影评类型
        NSString *movieTypeNum = @"0";
        if ([moviceType isEqualToString:@"好评"]) {
            movieTypeNum = @"2";
        } else if ([moviceType isEqualToString:@"中评"]) {
            movieTypeNum = @"1";
        } else if ([moviceType isEqualToString:@"差评"]) {
            movieTypeNum = @"0";
        }
        NSDictionary *dict = @{@"text":moviceContent,@"label":movieTypeNum};
        [textList addObject:dict];
    }];
    
    //3.导出JSON文件
    NSData *whirtData =[NSJSONSerialization dataWithJSONObject:textList options:NSJSONWritingPrettyPrinted error:0];
    [whirtData writeToFile:@"/Users/sunjiaqi/Desktop/appsTrain.json" atomically:YES];
    NSLog(@"文件生成成功");

- (NSString *)removeSpaceAndNewline:(NSString *)str {
    NSString *temp = [str stringByReplacingOccurrencesOfString:@" " withString:@""];
    temp = [temp stringByReplacingOccurrencesOfString:@"        " withString:@""];
    temp = [temp stringByReplacingOccurrencesOfString:@"    " withString:@""];
    temp = [temp stringByReplacingOccurrencesOfString:@"    " withString:@""];
    return temp;
}

- (NSString *)hexStringFromString:(NSString *)string{
    NSData *myD = [string dataUsingEncoding:NSUTF8StringEncoding];
    Byte *bytes = (Byte *)[myD bytes];
    //下面是Byte 转换为16进制。
    NSString *hexStr=@"";
    for(int i=0;i<[myD length];i++) {
        NSString *newHexStr = [NSString stringWithFormat:@"%x",bytes[i]&0xff];///16进制数
        if([newHexStr length]==1)
            hexStr = [NSString stringWithFormat:@"%@0%@",hexStr,newHexStr];
        else
            hexStr = [NSString stringWithFormat:@"%@%@",hexStr,newHexStr];
    }
    return hexStr;
}

　　注：这个里面有一个坑点，我这个JSON文件里面多了很多换行和空格，导致一直读取不出来里面的数据，折腾了很久。

处理好了之后的JSON文件长这样：

[
  {
    "label" : "2",
    "text" : "e8bf99e983a8e794b5e5bdb1e79c9fe5a5bde79c8b"
  },
  {
    "label" : "0",
    "text" : "e5a4aae78382e4ba86"
  },
  {
    "label" : "1",
    "text" : "e4b880e888ace888acefbc8ce4b88de7ae97e5b7aee4b99fe4b88de7ae97e5a5bd"
  },

　　接下来就可以拿这份数据来训练生成模型了。

二、生成模型

打开playgroud，直接上代码运行

import Cocoa
import CreateMLUI
import CreateML

var str = "Hello, playground"

//let builder = MLImageClassifierBuilder()
//builder.showInLiveView()




//训练源地址
let data = try MLDataTable(contentsOf: URL(fileURLWithPath: "/Users/sunjiaqi/Desktop/appsTrain.json"))

//导入训练源数据
let sentimentClassifier = try MLTextClassifier(trainingData: data, textColumn:"text",
labelColumn: "label")

//评估模型准确度
//let evaluationMetrics = sentimentClassifier.evaluation(on: data, textColumn: "text", labelColumn: "label")
//let evaluationAccuracy = (1.0 - evaluationMetrics.classificationError) * 100
//print("evaluationAccuracy:\(evaluationAccuracy)")


//导出模型
let metadata = MLModelMetadata(author: "命无双",
                               shortDescription: "这是一个判断影评的模型",
                               version: "1.0")
try sentimentClassifier.write(to: URL(fileURLWithPath: "/Users/sunjiaqi/Desktop/导出的模型/SentimentClassifier.mlmodel"),
                              metadata: metadata)

　　注：这就是最终的模型了，将它导入到demo里面就可以使用了。

三、使用模型

　　1、导入模型，直接拖入就好

　　2、构建模型工具类

#import <Foundation/Foundation.h>

NS_ASSUME_NONNULL_BEGIN

@interface SentimentClassifierModel : NSObject


+ (NSString *)judgeMoviceContentWith:(NSString *)content;

@end

NS_ASSUME_NONNULL_END

#import "SentimentClassifierModel.h"
#import "SentimentClassifier.h"

@implementation SentimentClassifierModel

+ (SentimentClassifier *)model {
    auto bundle = [NSBundle bundleForClass:SentimentClassifier.class];
    auto mlmodelcURL = [bundle URLForResource:@"SentimentClassifier" withExtension:@"mlmodelc"];
    if (mlmodelcURL) {
        return [SentimentClassifier new];
    }

    auto modelPath = [bundle pathForResource:@"SentimentClassifier" ofType:@"mlmodel"];
    if (!modelPath) return nil;

    auto modelURL = [NSURL fileURLWithPath:modelPath];
    mlmodelcURL = [MLModel compileModelAtURL:modelURL error:nil];
    if (!mlmodelcURL) return nil;

    auto model = [[SentimentClassifier alloc] initWithContentsOfURL:mlmodelcURL error:nil];
    return model;
}

+ (NSString *)judgeMoviceContentWith:(NSString *)content {
    NSString *judgeResult = @"未识别";//0-差评 ,1-中评, 2- 好评,3- 识别失败
    
    auto model = [self model];
    
    //处理content,转成16进制进行模型判断
    content = [self hexStringFromString:content];
    auto result = [model predictionFromText:content error:nil];
    NSLog(@"result:%@",result.label);
    if ([result.label isEqual:@"0"]) {
        judgeResult = @"差评";
    } else if ([result.label isEqual:@"1"]) {
        judgeResult = @"中评";
    } else if ([result.label isEqual:@"2"]) {
        judgeResult = @"好评";
    }
    return judgeResult;
}

+ (NSString *)hexStringFromString:(NSString *)string{
    NSData *myD = [string dataUsingEncoding:NSUTF8StringEncoding];
    Byte *bytes = (Byte *)[myD bytes];
    NSString *hexStr=@"";
    for(int i=0;i<[myD length];i++) {
        NSString *newHexStr = [NSString stringWithFormat:@"%x",bytes[i]&0xff];///16进制数
        if([newHexStr length]==1)
            hexStr = [NSString stringWithFormat:@"%@0%@",hexStr,newHexStr];
        else
            hexStr = [NSString stringWithFormat:@"%@%@",hexStr,newHexStr];
    }
    return hexStr;
}

　　注：这边注意一个点是传入的影评要先转成16进制再来判断。

四、总结

　　1、训练源里面的数据来测试是准确的，其他的数据的准确率有点感人，毕竟没有任何的算法，测试数据也少，优化的点很多。

　　2、考虑分词来优化模型准确率，在模型判断之前就对影评做一次判断，寻找文本之间的相同点。

　　3、模型只是给你一个判断，判断条件也就是特征要明确，这个关系到模型的准确率，。

iOS - 机器学习《三》

猜你喜欢