spark aggregateByKey 时 java.lang.OutOfMemoryError: GC overhead limit exceeded

最后发现有一个用户单日访问我们网站次数为 4千万,直接导致 aggregate 时内存不够。过滤掉该用户即可。

猜你喜欢

转载自www.cnblogs.com/keepthinking/p/10467081.html
今日推荐