微软Azure提供了大量的AI及机器学习功能,可以通过简单的RestAPI调用。
关于此文中提到的Azure计算机视觉,可查看此链接的详细介绍。
通过微软的服务,只需要几行代码即可使用计算机视觉中的 REST API 分析图像提取特征信息。
开发环境说明及初始准备。
开发工具:Visual Studio For Mac 2019 preview
创建Xamarin.Forms程序,PCL类库逐渐在过时,所以新项目的共享代码选择.NET Standard。
1.在共享项目中添加Xam.Plugin.Media的NuGet包引用,此包可以大大减少访问相册的代码量。
PS:Xamarin.Essentials还没有提供摄像头和相册的调用功能。
NuGet包安装完成后,会显示readme.txt,增加对应的访问权限设定,在此NuGet包的GitHub中同样有详细说明,
地址为:https://github.com/jamesmontemagno/MediaPlugin
2.添加对Microsoft.Azure.CognitiveServices.Vision.ComputerVision的Nuget包引用。
此包提供了Azure计算机视觉的API访问。
3.注册计算机视觉的API Key。
点击 链接
点击免费试用认知服务,登陆微软账号,
点击获取API Key,Azure会提供一个7天的免费试用Key
初始准备完成。
程序代码编写
<ContentPage xmlns="http://xamarin.com/schemas/2014/forms" xmlns:x="http://schemas.microsoft.com/winfx/2009/xaml"
xmlns:local="clr-namespace:RevealTest" x:Class="RevealTest.MainPage"
xmlns:ios="clr-namespace:Xamarin.Forms.PlatformConfiguration.iOSSpecific;assembly=Xamarin.Forms.Core"
ios:Page.UseSafeArea="true"> <ContentPage.Content> <Grid> <Grid.RowDefinitions> <RowDefinition Height="2*" /> <RowDefinition Height=".2*" /> <RowDefinition Height="3*" /> </Grid.RowDefinitions> <Grid.ColumnDefinitions> <ColumnDefinition Width="*" /> </Grid.ColumnDefinitions> <Image Grid.Row="0" Grid.Column="0" x:Name="imgSelected" Aspect="AspectFit" /> <Button x:Name="btnPick" Text="选择图片" Clicked="Handle_Clicked" Grid.Row="1" Grid.Column="0" /> <TableView Grid.Row="2" Grid.Column="0" x:Name="TableView"> <TableRoot> <TableSection Title="图片信息" x:Name="TableSection"> </TableSection> </TableRoot> </TableView> </Grid> </ContentPage.Content> </ContentPage>
PS:此行代码代表对刘海屏进行适配。
ios:Page.UseSafeArea="true"
public partial class MainPage : ContentPage { public string subscriptionKey = "申请的API Key"; public MainPage() { InitializeComponent(); } async void Handle_Clicked(object sender, System.EventArgs e) { TableView.Root.Clear(); TableRoot root = new TableRoot(); await CrossMedia.Current.Initialize(); var status = await CrossPermissions.Current.CheckPermissionStatusAsync(Permission.Photos); if (status != PermissionStatus.Granted) { if (await CrossPermissions.Current.ShouldShowRequestPermissionRationaleAsync(Permission.Photos)) { await DisplayAlert("提示", "需要访问您的相册", "OK"); } await DisplayAlert("提示", "需要访问您的相册", "OK"); if (Device.RuntimePlatform == Device.iOS) { Device.OpenUri(new Uri("app-settings:")); } return; } try { var file = await CrossMedia.Current.PickPhotoAsync(new Plugin.Media.Abstractions.PickMediaOptions { PhotoSize = Plugin.Media.Abstractions.PhotoSize.Medium }); if (file == null) return; imgSelected.Source = ImageSource.FromStream(() => { var stream = file.GetStream(); return stream; }); var result = await MakeAnalysisRequest(file.Path); if (result == null) { TableSection.Add(CreateTextCell("空", "空")); } if (result.Metadata != null) { TableSection.Add(CreateTextCell("图片格式", result.Metadata.Format + " " + result.Metadata.Width.ToString() + "*" + result.Metadata.Height)); } if (result.Description != null) { foreach (var item in result.Description.Captions) { TableSection.Add(CreateTextCell("图片内容推测:" + item.Text, "可能性" + item.Confidence)); } string tagdesc = ""; foreach (var item in result.Description.Tags) { tagdesc += item + ", "; } TableSection.Add(CreateTextCell("图片标签", tagdesc)); } if (result.Tags != null) { foreach (var item in result.Tags) { TableSection.Add(CreateTextCell(item.Name, "可能性" + item.Confidence)); } } TableView.Root.Add(TableSection); } catch (Exception ex) { string test = ex.Message; } } private TextCell CreateTextCell(string text, string detail) { return new TextCell { Text = text, Detail = detail, DetailColor = Color.Gray }; } public async Task<ImageAnalysis> MakeAnalysisRequest(string imageFilePath) { using (var fileStream = new FileStream(imageFilePath, FileMode.Open, FileAccess.Read)) { var apikey = new ApiKeyServiceClientCredentials(subscriptionKey); var visualFeatures = new List<VisualFeatureTypes> { (VisualFeatureTypes)Enum.Parse(typeof(VisualFeatureTypes), "Categories"), (VisualFeatureTypes)Enum.Parse(typeof(VisualFeatureTypes), "Tags"), (VisualFeatureTypes)Enum.Parse(typeof(VisualFeatureTypes), "ImageType"), (VisualFeatureTypes)Enum.Parse(typeof(VisualFeatureTypes), "Color"), (VisualFeatureTypes)Enum.Parse(typeof(VisualFeatureTypes), "Faces"), (VisualFeatureTypes)Enum.Parse(typeof(VisualFeatureTypes), "Adult"), (VisualFeatureTypes)Enum.Parse(typeof(VisualFeatureTypes), "Description") }; using (var client = new ComputerVisionClient(apikey) { Endpoint = "https://westcentralus.api.cognitive.microsoft.com" }) { ImageAnalysis analysisResult = await client.AnalyzeImageInStreamAsync(fileStream, visualFeatures.ToArray(), null, "zh"); return analysisResult; } } } }
由于只是体验性质,就没有使用MVVM模式,并且结果展示也没有使用特别恰当的方式。