最后发现有一个用户单日访问我们网站次数为 4千万,直接导致 aggregate 时内存不够。过滤掉该用户即可。
spark aggregateByKey 时 java.lang.OutOfMemoryError: GC overhead limit exceeded
猜你喜欢
转载自www.cnblogs.com/keepthinking/p/10467081.html
今日推荐
周排行