最近在latent.space上看到一篇关于AI工程师正在崛起的文章，引起了作者一些兴趣，经过进一步收集和整理了一些关于AI工程师的最新发展和资讯。作者梳理为本篇文章，希望能对大家有所帮助，共同探讨学习。
这是一个Twitter上的讨论，随着AI领域的继续发展逐渐分化出不同的角色，细化分工，其中AI工程师的定位在API右侧，图中AI工程师的定位是基于API开发一些应用，工具，代理等。
-
提示词工程(Pr ompt Engineer )：负责调试Prompt来让模型具有稳定的输出。也许接下来随着模型的发展，对Prompt的要求就没有那么高。要真正利用这种模型的能力，你必须能够编写代码，而不能仅仅是一个非技术性的Prompt Engineer，这样才能更高效。或者说具备编程思维，使用自然语言进行编程。 -
数据处理： 懂一些数据处理的手段，清洗、预处理、标注、增强数据，做一些模型的微调。 -
软件工程： 基于模型做一些应用程序，基于AI解决一些现实世界的问题，应用部署和扩展，系统的稳定性、扩展性设计，性能的优化等。懂AI模型周边的配套工具。 一些算法： 也可以深入算法领域... 做更高难度的AI模型训练
专注在AI的应用领域，解决在应用上的一些问题。
大多数人仍然认为AI工程是机器学习或数据工程的一种形式，因此很多人认为需要掌握深度学习、机器学习等技术。但是据国外一些大佬的观察，很多做AI相关的优秀工程师并没有完成关于深度学习上的学习和研究，他们也不知道PyTorch，甚至不知道数据湖和数据仓库之间的区别，因为AI工程师对数据工程也没有直接的要求。
在国外的一些讨论上，两者的一些关注点区别：
ML工程师主要关注机器学习模型的设计、开发和部署，他们的工作通常更为具体和细化。处理与模型相关的实际问题，如过拟合、不平衡数据集、特征选择等。
AI工程师用于实现AI解决方案：构建完整的AI应用，如聊天机器人、图像识别系统等。不仅要处理机器学习，还关注深度学习、强化学习等其他领域。
在未来，可能也不会有人建议从阅读“Attention is All You Need”开始学习AI工程，了解基础知识和原理肯定是有帮助的，不过不是必须要具备的条件。开发中有那么多的框架，也不一定每个框架都要深入原理层面 有时你只需要使用产品，能把应用做好也是很重要的。
可能短期来看那些有良好的数据科学/ML背景的人来说，AI工程师、Prompt工程师在很长一段时间内都会感到自卑。然而大佬的观点是纯粹的需求和供应经济学将会占据上风，AI工程师也会有自己的一席之地。
▐ Hacker News关于AI/LLM工程师的讨论
为什么AI工程师会出现？
▐ AI产品化氛围火热
▐ 产品化有一定的挑战
-
模型的多样性 ：从评估最大的GPT-4和Claude模型，到最小的开源Huggingface、LLaMA等模型，选择和评估合适的模型是一大挑战。 -
工具的多样性 ：工具的选择范围从最受欢迎的链式、检索和向量搜索工具，如LangChain、LlamaIndex和Pinecone，到新兴的自主代理领域的工具，如Auto-GPT和BabyAGI。 -
信息过载 ：每天发布的论文、模型和技术的数量正在指数级增长。以至于跟上这些信息几乎成了一份全职工作。
▐ 市场的供需关系
大公司的角色：像Microsoft、Google、Meta这样的大公司已经垄断了稀缺的研究人才，提供“AI研究即服务”API。你不能雇佣他们，但你可以利用他们的能力，全球大约有5000名LLM研究者，但有约5000万名软件工程师。供应限制意味着一个“中间”类别的AI工程师将应运而生。
GPU囤积：Stability AI通过强调他们的4000 GPU集群引发了初创公司的GPU竞赛。各种公司都在做GPU的储备竞赛。全球芯片短缺进一步加剧了这一趋势。大部分公司是训练不了模型的，只能去利用模型。
快速验证想法：与其要求数据科学家/ML工程师在训练一个特定领域的模型之前进行繁琐的数据收集，不如让产品经理/软件工程师Prompt一个LLM，并构建/验证一个产品想法，然后再获取特定数据进行微调。使用LLM原型的工作流程可以使你的工作速度比传统的机器学习快10-100倍。因此，AI工程师能够以比传统方法低1000-10000倍的成本验证AI产品。
参考AI应用全景报告：https://ramsrigoutham.medium.com/the-landscape-of-generative-ai-landscape-reports-615a417b15d
-
传统方式：程序员通过编写代码来明确指示计算机如何执行任务。 -
新方式：通过神经网络和机器学习来“学习”如何执行任务，而不是通过明确的编程指令。这种方法的优势在于，它可以处理大量的数据并从中学习，而不需要人为地为每一个可能的情况编写代码。 类似于当前的算法推荐；
有人说这种做法只是OpenAI的包装，只是使用技术而没有进行任何创新，还有担心LLM应用的安全隐私问题、提示注入和一些反向工程问题。
问题虽然存在，但毕竟这个是一个正在快速发展的领域，每个都可以有自己的观点，如果相信这个领域会快速发展，这些问题可以在前进的路上逐渐的去解决。还有当前LLM看似大，但也需要人类编写代码(或者通过Prompt)来指导和增强它的功能。
未来的编程不仅仅是由人类编写的代码，随着工程师越来越擅长利用AI，AI也将越来越多地参与到工程设计中。直到有一天，我们可能无法分辨出哪些是人类编写的，哪些是AI生成的代码。通过自然语言就可以构建出复杂的软件工程...
基础教育 AI工程师需要对线性代数、微积分、概率和统计有了解，因为这些都是机器学习算法的基础。掌握至少一种编程语言，如Python或R，这是进行机器学习编程的基础。
专业知识培养: 机器学习: 学习各种机器学习算法，如线性回归、决策树、神经网络等。深度学习: 了解CNN、RNN、Transformer等模型结构，以及如何使用框架如TensorFlow和PyTorch来实现它们。
实践经验:
项目实践: 手头上的项目经验很重要。从小项目开始，逐渐处理更复杂的问题。
参与竞赛: Kaggle等平台提供了很多数据科学和机器学习的竞赛，通过这些竞赛，你可以学习到很多实践经验。
信息获取：
研究: 阅读最新的研究论文，了解最新的技术和趋势。
网络: 加入AI和机器学习的社区，如OpenAI、Google AI等，与其他专家交流，分享知识。
课程与认证：考虑获得与AI和机器学习相关的认证，如TensorFlow认证或AWS Machine Learning认证。
确定方向：AI是一个快速发展的领域，总有新的技术和方法出现。保持好奇心，始终对新知识保持开放的态度。同时AI是一个可以广泛应用的领域，确定你最感兴趣的领域，深入研究。
不过以上感觉是针对研究型人员的成长路径，针对大多数人，想要往AI领域发展，怎么样学习成长，个人尝试按照自己的理解梳理一下：
编程语言： 首先要懂一门编程语言、Python简单易上手，而且现在有AI加持；通过GPT辅助自己学习Python。
基础原理： 了解大模型的原理，LLM是如何工作的，SD是如何工作的，对常见的AI领域的算法有一定了解，知道大致是干什么的。
模型了解：了解市场上有哪些模型，各自的适用场景，都可以用来做什么；能都亲自体验一把
提示词工程，学习怎么通过提示词让模型返回自己期望的结果。
LLM工具，通过工具提升自己对大模型的操作效率，利用相关工具能快速验证想法；
软件工程，将LLM的能力产品化封装，并且能具备一定的部署运维能力，做一些实际的项目，积累实践经验
未来AI工程师的畅想？
与其他领域的合作：也许未来的AI工程师可以类似当前的软件工程师，深入某个领域做领域建模，与领域专家合作，深入到各行各业，与医生、艺术家、建筑师等其他领域的专家合作，共同创建创新解决方案。例如，在医疗领域，AI工程师可以与医生合作，开发出更精确的诊断工具。
自动化任务： 随着技术进步，大部分的任务都可以被AI自动化掉，AI工程师的角色将更多地转向创造、优化和维护复杂的系统，而不仅仅是编写代码。
AI的解释性： 工程师更加重视AI决策的透明度和解释性，确保AI的决策可以被人类理解和接受。
道德和伦理：由于AI的普及和深入，对道德和伦理的考虑将成为AI工程师的基本素养。不仅要考虑技术的创新，还要确保其技术的应用不会对社会和个人造成伤害。
具身AI，机器人：融合对心理学、生物学、神经科学、哲学等学科有一定的理解，开发出能理解人类智慧和情感，更加高效和人性化的AI系统，AI机器人。
当下，随着大模型的不断发展和基础设施的完善，AI的技术越来越丰富，AI工程师这一新角色正在崛起，它会区别于以往的ML工程师，其重点不是设计和训练模型，通过Prompt提示，结合一些软件工程，一些大模型工具，然后构建AI相关的产品，解决实际问题。
最后也尝试去梳理了下成为AI工程师要学习成长的路径，期望能和大家一块进步和探索，在未来的世界中，利用新技术改变大家的生活。
Tomorrow belongs to those who embrace it today
团队以创新为核心价值观之一，鼓励团队成员在工作中不断探索、实验和创新，以推动业界技术的进步和用户体验的提升。我们不仅关注当前业界领先的技术，更注重未来技术的预研和应用。团队成员会积极参与学术研究和技术社区，不断探索新的技术方向和解决方案。
团队立足体系化打造业界领先的用户增长基础设施，以媒体外投平台、ABTest平台、用户运营平台为代表的基础设施赋能阿里集团用户增长，日均处理数据量千亿规模、调用QPS千万级。在用户增长技术团队，我们提供“增长黑客”极客氛围和丰富的岗位选择，欢迎业界贤才加入。
本文分享自微信公众号 - 大淘宝技术（AlibabaMTT）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。