在研究工作中，如何既利用到BERT的能力又能突出我们的工作贡献？/word2vec, Transformer, ELMo, BERT, XLNet之后，什么是NLP的下一代模型。
- zhiyuan liu, 应该想一想，bert何如提出来的，品味问题，bert对这个领域产生的影响。 加入知识。语言作为符号系统，背后的意思利用外部信息完成深度理解。把知识考虑进去是非常重要的一个方面。
一个是unsupervised的大规模数据使用
一个是supervised labeled data的使用。
- female. 我们下一步是什么？
- 可解释性
- 高效、简化
- 未来的模型在不同的设备上，大小可调但是性能不影响。
- 跨媒体，一开始都是在NLP领域，后来会不会有一些解决综合场景的参数和数据上的问题。
- 知识和规则、如果bert足够优秀，是否可以利用工具，使用高阶规则，生成语料，与合适的词结合起来。
- 语言各种形式、但是语义是统一的。
- yang liu. 02-19年ACL 最佳论文列了一下。 当时根本不知道这个概念。翻译：为什么做不了这样的事情
- 大的浪潮一直在变化，如果不处于潮流的最前面，那么就有滞后期。领先NLP的工具方面有很大差距。 不知道现在的时间点上，到底前沿在哪里 阅读文献，看paper。
人工智能的核心，知识从哪来？人建造：知识图谱
数据承载，在数据中挖掘。 深度学习
alphaGO，自然主义，间接反馈，获取知识。
- bert本质，在未标注数据上挖掘数据。
- alphaGo是一个封闭系统，规则明确。真实NLP是一个开放系统。我们一定要做一个机器人，能听能说能写，真实世界学习到真实东西。
- 看好机器人与多模态
wanxiang che. 在bert这个时间段中，应该拥抱bert。不需要去回避，不实用bert也是不可取的。
下一代模型，知识并非是显式的，符号化的。泛化的知识：数据、算法，都算是知识。人告诉机器，该如何使用知识。 meta知识，有/无/self 指导的数据中有知识、隐式知识告诉机器。知识图谱这类显式的，符号化的知识如何加入到现有的系统之中？
基于连接主义和符号主义。专家系统，现在：链接主义盛行。 如何融合？ 链接主义容易计算，符号主义容易积累。 如何把符号信息链接化。
one paper in EMNLP, bert预测三元组。也包含了这些信息。非常有趣。
- 如何更好的大规模？
- 如何更好的利用bert
- visulization–bert可解释性
attention并不是有用的，到底是否是一个重要程度？
yang liu. 观点偏激， 大家观察的时代变化，领域分散。 有大一统的，bert各个任务开始融合。 专注做单个任务，意义和价值就在弱化。如果我自己重新做phd，要选择，核心、主干的基础泛化性问题。 看是否去提出一个更好的预训练模型 （但是并非所有研究生会这么做，太难了。但反正我会这么做
任务出发确实解决了很多任务，但是具体任务结合，还有很多的信息需要添加。做生成时需要更多的信息、背景资料等等。 bert自动选择通道，具体任务再训练和更多的优化空间。
zhiyuan liu： 日本sigir感受，google等公司，不再来参加了。企业界开始占据主导时，这是一个非常危险的信号。高校不再收到前沿关注了。bert大部分是企业来提出的。一方面还是需要去做general的事情，模型给我们的启发需要做一个基础通用的创新，影响力也大。第二：在原有的问题上提出改进，无法与公司竞争。需要提出挑战性问题，这些通用模型无法使用，针对这些问题来做。这些模型只能在短文本上做—提出了docRED，不够鲁棒—（adversarial attack） 解决bert这些模型无法解决的问题，提出新的框架。非常重要。建设性的角度来说，并非每一个工作都要非常大的创新。第一、第二个工作可以保险一些。高年级同学，要更高的眼界和更难的挑战。 要做更有价值的工作
屋子里面有一个8岁的男孩和他的爸爸妈妈，请问屋子里有几个成年人？
zhiyuan liu：我是个实用主义者，我想问，这个问题有什么用啊？
我笑死了。
NLP中为什么没有像CV四小龙一样的公司？
zhiyuan liu:我不同意， NLP最大的就是search engine，NLP应用的很多啊。 人脸识别只是在CV里面很小的一个问题。 但是敏感词这些应用和国家政策结合，一样很有很大的观点。
NLP的落地场景？
完整的表达知识、 在已有的知识上产生新的知识。 高校原创性不必企业差，提出新的架构和问题来解决问题。
yang liu: 和其他学者有过交流， 在中国做学术， 在基础科研上重大贡献----科学院院士，在应用上作出重大贡献----工程院院士。
NLP是偏工程的，但是在项目上又没有很好的显示度。一句话不能解释。
语言是间接性的，nlp绝对非常重要，但是不能一句话讲清楚。
nlp哪些应用？ 输入输出非常清晰： 翻译。
但是输入输出中间态的问题，非常难解释，句法分析等等。你能和老百姓解释清楚句法解析树有什么用呢？
机器翻译准确率很高，是一个很好的技术展现形式。如果要创业：要做一个什么事情有很大的需求，技术成熟度能带来很好的用户体验。
wanxiang che: 常识问题：
1.有没有数据
2.算法调整
3.额外的知识。
别人在淘金，nlp人在送水， 在 to C 的产品形态后面。
nlp是在人机交互这个圈子。
多模态是下一个发展方向， context做处理时，有多种方面的。有了多模态信息之后就会有非常大的帮助，grounding 利用图片与语言同时进行理解。
- 虚拟世界 baby AI
声、图、文。 profile、location都是模态，也会帮助语言理解。
范式是 深度学习+有监督。 哪些没什么label的数据，扩大信息源。大规模未标注数据的应用。
方向还是，未标注数据的应用。
根据意原的原则来缓解unbalance的问题。 bert是否学习到了隐式表达问题。我们不明白bert学到了什么，什么没学到。
