ChatGPT如何应用在数据治理的具体场景中？

自从ChatGPT爆火以来，技术圈的爆炸新闻是一波接一波，让人目不暇接，突然有了一种“人间一日，AI一年的感觉”。上周就有几条重磅新闻，来跟大家分享一下：

• New Bing 对所有用户放开，注册即可用
• 周三 Google 发布 ChatGPT 的对手产品 Bard
• 周四 GitHub 推出 GitHub Copilot X
• 周五 OpenAI 团队上线了「ChatGPT 插件系统」
• ……

最近的信息爆炸越来越频繁和强烈，给我带来了前所未有的冲击，完全不给人喘息的机会。想想自己所处的数据行业，从今年的建设数字中国的政策上来看是重大利好，但以ChatGPT为代表的人工智能应用爆发，又让人不得不担忧，到底何去何从呢？

一、ChatGPT给数据行业带来了怎样的冲击？

ChatGPT是数据科学和人工智能高速发展后的产物，毫无疑问，它将会对数据行业带来巨大的冲击。

ChatGPT的火热，让业界意识到数据才是企业决策的核心要素，数据的地位变得更加重要。如何获得、积累更多的有价值的数据，如何通过挖掘和利用数据，创造更多价值成了企业主们最关心的事。可以预见数据科学家、数据分析师、机器学习工程师必将成为抢手资源，有相关人才资源的一定要把握好。

ChatGPT强大的自动化自然语言处理能力、数据分析和挖掘能力、数据生成能力，势必会在很大程度上取代一些，机械重复极度耗时的基础数据处理工作岗位上的从业者，这是残忍的现实情况。

ChatGPT正在一步步深度影响着这个行业。

二、ChatGPT能应用到哪些具体的数据业务场景中？

ChatGPT强大的自然语言处理能力和文本生成能力，为许多数据业务场景提供了新的可能性和机会。数据处理就是其中之一，并且是很容易落地实施的。具体的场景可以有这些：

• 数据质量管理：让ChatGPT分析数据字段、文本内容等，以了解数据质量问题，例如缺失数据、不一致的数据格式、错误的数据类型等。
• 元数据管理：让ChatGPT生成元数据描述，例如数据集的名称、摘要、分类、来源、版本等。这可以帮助组织更好地管理和理解数据集。
• 数据分类和标记：让ChatGPT自动分类和标记数据，例如对文本数据进行主题分类、实体识别等。这可以帮助组织更好地组织和管理数据。
• 数据安全和隐私：让ChatGPT分析数据中的敏感信息，例如个人身份信息、财务数据等，并帮助组织采取相应的措施，例如加密、授权等，以确保数据的安全和隐私。
• 数据字典和词汇表管理：让ChatGPT生成数据字典和词汇表，以便更好地理解和描述数据。这可以帮助组织更好地管理数据，并促进数据的共享和交流。

三、有了ChatGPT，我还需要养那么多技术吗？

虽然ChatGPT功能强大，有一些工种会受到比较大的影响，但在实际应用中，还需要其他专业人员来完成关键任务，不会完全被替代。

可能会受影响的数据治理相关技术人员和工种

1. 数据分类和标注人员：ChatGPT可以用于数据分类和标注数据，因此一些需要人工分类和标注的工作可能会被自动化。
2. 数据录入人员：ChatGPT可以识别表单中的文本字段，并自动填充表单数据。可能会降低一些数据录入人员的需求。
3. 自动化测试工程师：ChatGPT可以自动测试和验证自然语言文本的准确性和质量，从而可能会降低对一些自动化测试工程师的需求。

暂时不会受到影响的数据治理相关技术人员和工种

1. 数据采集人员：数据采集人员是负责收集和整理数据的专业人员，他们可以使用各种工具和技术从不同的来源获取数据，例如社交媒体、传感器、网站等。
2. 数据管理人员：数据管理人员是负责管理数据的专业人员，他们可以负责制定数据管理策略、制定数据安全措施、确保数据质量、监控数据流程等。
3. 数据分析师：数据分析师是负责分析数据的专业人员，他们可以使用各种工具和技术来识别趋势、关联性和异常，以及发现数据背后的洞察和趋势。

四、目前ChatGPT能够给数据行业提供哪些辅助作用？

ChatGPT可以给数据行业提供多种辅助作用，包括但不仅限于以下几个方面：

1. 自然语言处理：作为一种强大的自然语言处理工具，ChatGPT可以处理和分析文本数据，例如情感分析、主题分类、文本生成、机器翻译等，从而帮助数据行业更好地理解和利用文本数据。
2. 语音识别：ChatGPT可以用于语音识别和转录，从而帮助数据行业更好地处理和分析语音数据。
3. 数据标注和分类：ChatGPT可以帮助自动化文本数据的标注和分类，例如情感分类、主题分类和实体识别等。这有助于提高文本数据的质量和准确性，并且可以加快数据处理和分析的速度。
4. 数据清洗：ChatGPT可以用于文本数据的清洗和预处理，从而帮助数据行业更好地处理和管理大量的文本数据。
5. 数据挖掘：ChatGPT可以用于挖掘和分析文本数据中的关键信息和知识，从而帮助数据行业更好地发掘和利用数据的价值。
6. 数据可视化：ChatGPT可以生成自然语言文本，并帮助数据行业更好地展示和传达数据的结果和意义。

总的来说，ChatGPT作为一种强大的自然语言处理工具和机器学习模型，可以应用在数据标注和分类、数据清洗、数据挖掘和数据可视化等各个环节，在提高数据行业的效率和精度上可以起到很重要的辅助作用。

五、深度使用ChatGPT之后，我的感受

ChatGPT真的很强大，不得不服。但是它的局限性也很明显，那就是缺乏创造力和想象力，它并不能「真正」创造新的东西，而只是通过大量的内容训练去「重新包装已有的信息与知识」，这并不意味着它什么都懂什么都会，我在试用的时候经常会收到它瞎编的似是而非的回答。

经过与团队小伙伴的讨论，我们认为现阶段ChatGPT不足以深度接入目前的工作流，不仅数据输入输出有字数限制，它的数据安全性、传输服务的稳定性也都有待验证。

不过一些工作却是可以让找ChatGPT来协助完成，最简单的最常用的场景，就是协助数据治理人员，生成SQL查询语句，并且协助检查SQL查询语句中的语法错误，这可以极大地提高工作效率。此外在数据排序、数据缺失值填充、数据差值等环节，也可以利用ChatGPT来完成。

ChatGPT还在不断进化，插件系统内测就已经引起一片骚动，等到完全开放的时候，不知道又会闹出多大的动静。每一次技术的更新换代，都会有一部分工作岗位消失，同时也会产生一批新的工种，不必去抵触，抵触往往也不起作用。

AI再智能，也只是辅助工具，不可能真的替代人类。作为人类，我们要有“生而为人”的骄傲，我们应该在自己的「创造力、判断力基础之上」，通过与AI的合作获得了对于「效率，速度与组合能力」的增强。

AI的高速发展，只会促使人类不断进步，让自己变得更好！

所以别慌，慌也没用，快去学吧！