AI era, product managers need to master new skills 5

Unlike traditional product manager, product manager Age AI will pay more attention to how the application of technology in business issues. AI era, the most important responsibilities is to provide data specifications, product manager, product manager, so it also requires data have sufficient knowledge. Times article on AI product managers need to master new skills were summarized for all of them to study and reference.

 

2020 January 25, at the Manchester conference thinking products, product director system Salesforce Einstein Mayou Ke · Beauvoir made a shared, discussed in the era of artificial intelligence, product manager, what adjustments need to do and how to create successful artificial intelligence products. Topic "Artificial Intelligence How to change the description of product management career How AI Is Changing The Product Management Job Description by Mayukh Bhaowal"

A story

Before come to the question, we have some interesting story from the beginning:

1. AI is breaking down the traditional definition of career

In Cambridge, Massachusetts, a few months ago, technology enthusiasts gathered in the hundreds, and a professor from Stanford says something on the whiteboard. He exploring artificial intelligence is how to change the world, to explore how the traditional career break and collapse of AI. The professor is the founder Andrew Ng, a company called "Landing AI" of the company, he is also well-known online education company Coursera founders. He referred to the description of the work of some product manager in his share in.

To chat robot application as an example. In the Internet era, if our product managers are designing a new web page or APP, that draw wireframe is an essential part of the standard process. Pictures, product manager engineer can tell that this program should look like, and engineers will be implemented according to plan. That's a long time, Silicon Valley technology companies and product managers and engineers to collaborate.

But in the era of artificial intelligence, this old way of working is being neutralized.

If you want a chat robot, then what will happen? I have been helping a company to build a section called "behavioral therapy" chat robot, solve mental illness by the American way of chatting robot.

If the above diagram shows online, it should be like this:

Robot says: "Hi ~"

Users say: "I'm not happy."

Robot: magically show a picture (this picture is derived from natural language processing technology)

Normally I would say, "This is completely useless," I do not know the shape of the bubble dialogue is kind of how I need to know what the essence of the conversation was how my chat robot can sense the user what happened.

The traditional product manager, product specifications provided by frame Pictured chat robot, but engineers need to understand the inner logic.

2. The product manager of recycling programs

In San Francisco, California, an organization of scientific data insight (Insight Data Science) is called.

Not long ago, they opened a seven-week training program to help professionals from different backgrounds to switch to software engineering and data science. My French colleague Leon McGuire, she holds a doctorate in neuroscience, she joined their data science projects, and Lincoln to get a job as a data scientist.

Recently, I learned from the director of AI products Jeremy Carrasco, who is starting a new project. This project is called a data item or product manager, product manager AI project. Jeremy believes that the more traditional product managers, they need to master the skills necessary to focus on the data, but also know how to use AI to create products.

Finally, Einstein's vice president of Salesforce products Marco Casa Carolina is working with his team to develop a new curriculum, which is an internal training course aimed to bring artificial intelligence and machine learning for the fourth Industrial Revolution to prepare.

I asked Mark: "? What is the purpose and goal of this course is," he said: "We want our product managers to gain some perception, so that they can quickly assess the feasibility of using machine learning to solve business problems, We know what business problems for the machine learning or AI, and what is inappropriate. "

The era of artificial intelligence, product management, how kind of change? As a product manager, if you want to build a successful AI product, and you need to grasp what skills it?

Second, the product manager of Olympic

Engineering as a discipline has been around for thousands of years. Its history dates back to the Egyptian pyramids engineering and military engines. A thousand years, the birth of mechanical engineering, invented the steam engine, project management is already a very mature discipline.

Compared to project management, product management, to many young, less than a hundred years of its history. The first product manager, brand management is actually doing is, they are called "human brand."

In manufacturing, it becomes a product line manager. With the development of the software industry, it has undergone some changes, such as using the Scrum agile method.

这让我想起了职业体育。回顾过去的50到100年里,电视评论里面总是在回放每一个运动项目突破和变化。我相信,不管你是在运动场上参与,还是在家中舒适地观看,这已从根本上改变了你参与运动方式和情感的寄托。

电影《点球成金》普及了体育分析方法。另外,有更多的高科技装备和运动器材出现在每隔四年的奥运会上,每一次都会有新的世界纪录。我们的确走在“更高、更快、更强”的道路上。最后,越来越多的女性也开始从事职业运动。华盛顿邮报还特别提到:女性在男性运动中的领导地位。

其实,产品管理就像是一项运动比赛,随着人工智能和软件行业的发展,它也正在被重新定义。如果你细想一下我讲的故事,就会发现那些针对产品经理的新兴指标,世界正在改变,AI产品经理正在崛起。

三、产品经理的新技能

通常,产品经理需要跨职能地串联起每一个利益相关者,如:销售、市场以及开发。但是对于AI产品经理,你还需要串联起另外两个重要人,即数据科学家和数据工程师。

同时,产品经理还需要更新技能树的五个方面:1. 问题映射,2. 数据素养,3. 验收标准,4.可解释性、伦理和偏移,5.将研究迁移到生产。

1. 问题映射(Problem Mapping)

随着人工智能的热潮到来,你可能也会面临着新的执行压力,需要考虑如何将AI注入到产品之中。但是我们在考虑问题的时候,却常常忽视了将这些技术方案映射回业务问题上

我认为,AI产品经理必须能够清楚地表达产品的价值主张。产品经理必须先考虑传统的方法、评估使用传统的规则引擎来解决问题,而不是冒着风险去做。

我们先举一个如何提升客服效率的例子。

像亚马逊和优步这样的大公司都有庞大的客服部门。每天都会新增大量的客服案例。例如,顾客可能会抱怨:

“我的订单在哪里,为什么还没有收到?”

“收到了错误的订单,我需要更换”

“我需要退款,Uber司机取消了我的订单,但是费用还没有退给我!”

……

这个部门的目标就是尽可能快地解决掉这些不断涌现的客服案例。因此,系统的衡量指标就是如何尽可能地缩短解决客服案例的时间。

作为一名产品经理,我会先思考要解决的问题,会考虑传统的方法、流程、基于规则的引擎。最好的引擎已持续使用了一段时间。

这个案例中存在一定的问题,“分类”和“产品”这两个字段值是空的。

因为这些字段有助于正确地将客服案例指向到正确的部门。从而让它们可以得到快速解决。如果缺乏这些字段,客服案例很可能会被错误的分配到其他部门。导致它们在不同的部门之间来回流转,从而浪费了宝贵的解决时间。

可能,每个产品经理会这么想:通过使用一些规则,根据客服案例中的其他字段来填写此字段中的值。但通过进一步分析,我们会发现这样的规则是很繁琐的。它不会随着时间的推移而扩展,它将变得难以管理。坦率地说,有时候一个严格的规则并不能真正抓住价值。

但倘若你有一段自由格式的文本并缺少关键字段和描述,您无法找出将其映射到“产品”和“类别”的规则。此时,你就可以使用人工智能了。实际上,这可以建模为一个多分类问题。这些字段中的每个值都对应多个分类。您可以通过肉眼从历史的客服案例中学习和获得相应的感知,例如通过查看标题和描述来确定预测值应该是什么。

在我们的“爱因斯坦”系统中,我们可以看到这些字段的预测值。每个预测值都有相应的置信等级。人们可以通过肉眼使用传统的方法进行评估,而不是冒着风险使用AI去解决问题。请记住,我们每时每刻都应该将解决方案映射回业务问题上——即缩短客服案例的解决时间。

2. 数据是新的用户界面 (Data is the New UI)

在AI时代,产品经理的职责是什么呢?我认为,产品经理最重要的职责之一就是提供数据规范。众所周知,数据是任何机器学习算法的基础。

我们首先要问的是:我们有足够的数据吗?如果没有,那么也就没有训练机器学习模型的数据集,也就无法从数据集中的预测信号中进行学习。

第二个要问的是:在现实世界中,你的数据有多干净或有多少噪声?但据我们所见,你的大部分数据都是非常混乱和充满噪声的。它可能存在于第三方系统中。当你开始给机器学习之前,你可能还需要连不同来源的数据,再导入到数据仓库之中。

第三个要问的是:历史数据中是否存有用来给机器做监督训练的样例?也就是所谓的监督分类问题。如果没有样例来训练机器学习模型,数据科学家还得想其他的办法。

以一种通用的图像识别的AI产品为例:

一般的目的数据集,在互联网上面可能都能找得到。如果你用这个来分类猫和狗,它会表现会令你大吃一惊,大概100%的准确率。但是如果你用同样的产品从医学诊断中检测肿瘤,它的表现很差,因为它从来没有真正看到过数据,也从来没有真正地训练过。实际上,通常情况下你可能甚至没有标注好的数据来满足机器学习的训练需求。

必须强调的是,数据是一个全新的维度,这在传统的产品文档中是完全没有的。正如一些人对智能产品说的那样:数据是新的用户界面,数据是新的用户体验。

3. AI世界的验收标准(Acceptance Criteria in the world of AI)

在产品应用于现实世界之前,它的验收标准是什么?在传统的产品管理中,这可能是功能的完整性、打开页面的数量、合适的完成提示等等。对于智能产品来说,您还需要考虑数据科学的指标,例如准确率、精确率、召回率。

这里举一个欺诈分类的例子,我们试图将欺诈交易从正常或良性交易中分类出来。

这是一个理想分类器的例子,它能将每一笔欺诈性交易都归为欺诈,良性的交易依然还是良性。数据科学家会做出反应 并说这是完美的精确和完美召回率,但这只是一个永远无法实现的梦想分类器。

在现实世界中,它可能会滑向两个方向:要么会漏掉一些欺诈行为,但它仍然有完美精确率(如下左图);要么在识别出欺诈行为同时也将一些良性行为误判为欺诈行为,也就是引入了假阳性(如下右图)。

作为产品经理有责任根据服务所在的领域来明确清楚正确的用例度量指标,以便数据科学家能够采取相应的举措。在这个例子里面,产品经理不需要拥有航天科学家一般的智慧,但需要知道欺诈交易是有害的,其代价远远大于在实际中引入的假阳性。

不过这还不够,一旦你找到了正确的度量指标,你还需要弄清楚阈值是多少,什么时候需要达到你认为的合理数值,精确率是否要达到80%或90%。当你思考这个数值是多少的时候,你必须再次考虑业务指标再回溯到数据科学的指标上。

再举一个销售领域潜在客户评分的例子。

我们正试图预测潜在客户销售成功的可能性。例如,格雷格·汤姆森先生得分是88。这意味着他有88%的可能性转化为销售订单。但比较棘手地方在于它是一个转化率,我们还需要考虑整体的转化漏斗。

这里有两个重要的指标:一个是由产品经理根据业务需求所决定的业务指标;另一个是针对当前的案例,与数据科学家和数据工程师合作得出的数据科学指标。而后者能帮助你在商业中树立竞争壁垒。

因此,当你准备向实际用户推出AI产品时候,你可以先明确这些额外的验收标准。

4. 可解释性、伦理和偏见(Explainability, Ethics & Bias)

如今,我们的许多客户正在体验我们的这套预测应用。其中最常的问题是:“为什么机器学习模型没有做出它所做的决定呢?”

事实上,人工智能软件根本不同于传统软件。因为它的结果并不是基于一组写好的代码产生的。随着时间的推移,随着数据和反馈循环加深,该软件的会越来越像一个黑盒。但我们还需要考虑可解释性,因为这将有助于建立用户对产品的信任。

这里有一张图,能够帮助我们评估可解释性和精确性:

从图中可以看出,我们需要为机器学习的可解释性和精确性做极大地权衡。相对简单的模型,如线性回归或决策树,准确性较差但可解释性较好;而神经网络、深度学习的准确性极高,但却更像个黑盒。产品经理需要根据特定的应用场景和用例来做出决策。

如果你的产品面向于一个高度监管的行业,法律要求这些预测是可解释的。比如,医疗健康和法律领域需要符合欧盟的《通用数据保护条例》。可解释性和精确率之间应该如何平衡?

作为产品经理需要相应的保持洞察力,并在第一时间与数据科学家和数据工程师保持同步。

另外,产品经理也需要想想这个产品是否有性别和伦理方面的影响:如数据需要具有足够的多样性、典型性,或者不能产生如种族歧视和性别的偏见问题。

我最喜欢举的一个例子这是谷歌翻译,左边是无性别区分的土耳其语,右边是对应的英文翻译。如果你顺着往下念很快就能发现这个偏见:他(男性)很努力地工作,她(女性)很懒。可见灾难性的性别偏见已经渗透到这个产品中。

或许你会想到一个功能来去剔除掉性别。但事情没有那么简单,性别是医学诊断的一个极其重要的特征和信号。例如,前列腺癌只发生在男性身上。

可能在翻译产品中关系不大,但在人力资源招聘系统中匹配求职者的职位描述关系非常大。我们似乎应该要提供一些关于如何处理偏见引导。

去年12月,谷歌发布了一个版本,解决了翻译中存在偏见,每一个中性的短语,它都会给出男性化和女性化的翻译。

5. 将研究投入生产(Scaling from Research to Production)

最具有挑战性的问题是,机器学习项目所需要的成功要素,研究环境和实际投产环境完全不同。下图源自一本非常有名的出版物,叫做《机器学习的隐性债务》:

真实世界的机器学习系统只有一小段机器学习代码,如中间的小黑盒所示。但其所需的周边基础设施庞大而复杂。这与大家普遍认知相反,您可能会认为机器学习是你的人工智能产品的最大和最主要组件,但在现实世界中它只是一小块。

在我们的Salesforce的爱因斯坦系统,也有一张非常相似的图。

数据科学家和数据工程师实际上正在设计这样的一款产品,它需要能够回答各式各样的问题才能真正被带到生产环境中去。

“是否确认你的数据是本地还是在云端?”

“是否确认你的机器学习模型是在服务器上,或者不需要分发到移动设备?”

“你是否准备重新训练你的机器学习模型,因为什么动机呢?”

“你是否确认产品需要实时预测?因为实时预测是非常有用的,但这又是非常复杂和难以设计的,又或许您可以使用一个离线批处理系统”……

每一天都会有成千上万的研究成果发表,但却少有应用到实际的规模生产。所以作为AI产品经理,我们必须建立起敏锐的洞察力:判断哪些产品值得投入,判断哪一种产品能够为实际的用户真正地生产。

虽然最近AI很火,但它在20年前就已经存在了。过去主要应用在搜索和广告领域,你在谷歌时看到的搜索建议、你在雅虎上看到的推荐广告、你在亚马逊上搜索时的自动更正……如果你在搜索和广告领域工作那必须提供明确说明,并且与数据工程师紧密的合作。

如今人工智能的应用领域呈指数级增长, 同时也需要产品经理提供大量明确的产品规范说明。不管你的数据科学家们是多么的喜欢你们的小花园,或者你的营销演示多么有创意和多么酷。“AI产品鸿沟”很可能会成为你的AI产品普及的障碍。

作为一个孤岛,越来越多的AI产品需要管理。作为一名产品经理你需要提升技能树。在你的工程项目中,能够实际地为数据科学家提供有价值的规范说明。

 

发布了446 篇原创文章 · 获赞 686 · 访问量 142万+

Guess you like

Origin blog.csdn.net/weixin_42137700/article/details/104274941