详细报错如下图：
##解决办法：
进入flume bin目录下，修改flume-ng文件，如下图：
红框的地方默认是20m，可以根据自己服务器内存大小设置，我这里设置的是10240m(也就是10个g)
根据以上的报错，自己也进行搜索并整理了细节的东西，供需要的小伙伴们参考：
博文地址：
记flume部署过程中遇到的问题以及解决方法
配置flume采集kafaka日志导入hdfs（采用的file channel）
现将调试过程中遇到的问题以及解决方法记录如下：
1、 [ERROR - org.apache.thrift.server.AbstractNonblockingServer$FrameBuffer.invoke(AbstractNonblockingServer.java:484)] Unexpected throwable while invoking!
java.lang.OutOfMemoryError: Java heap space
原因：flume启动时的默认最大的堆内存大小是20M，实际环境中数据量较大时，很容易出现OOM问题，在flume的基础配置文件conf下的flume-env.sh中添加
export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"
并且在flume启动脚本flume-ng中，修改JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx2048m"
此处我们将堆内存的阈值跳转到了2G，实际生产环境中可以根据具体的硬件情况作出调整
2、 [ERROR - org.apache.thrift.server.TThreadedSelectorServer$SelectorThread.run(TThreadedSelectorServer.java:544)] run() exiting due to uncaught error
java.lang.OutOfMemoryError: unable to create new native thread
原因：如果App给flume的thrift source发送数据时，采用短连接，会无限地创建线程，使用命令 pstree 时发现java的线程数随着发送数据量的增长在不停增长，最终达到了65500多个，超过了linux系统对线程的限制，解决方法是在thrift source配置项中增加一个线程数的限制。
agent.sources.r1.threads = 50
重新启动agent发现java的线程数达到70多就不再增长了
3、 Caused by: org.apache.flume.ChannelException: Put queue for MemoryTransaction of capacity 100 full, consider committing more frequently, increasing capacity or increasing thread count
原因：这是memory channel被占满导致的错误，memory channel默认最多只缓存100条数据，在生产环境中明显不够，需要将capacity参数加大
4、warn："Thrift source %s could not append events to the channel."。
原因：查看flume的配置文档可以发现，各种类型的sink（thrift、avro、kafka等）的默认batch-size都是100，file channel、memory channel的transactioncapacity默认也都是100，如果修改了sink的batch-size，需要将batch-size设置为小于等于channel的transactioncapacity的值，否则就会出现上面的warn导致数据无法正常发送
5.org.apache.kafka.common.errors.RecordTooLargeException: There are some messages at [Partition=Offset]: {ssp_package-0=388595} whose size is larger than the fetch size 1048576 and hence cannot be ever returned. Increase the fetch size, or decrease the maximum message size the broker will allow.
2017-10-11 01:30:10,000 (PollableSourceRunner-KafkaSource-r1) [ERROR - org.apache.flume.source.kafka.KafkaSource.doProcess(KafkaSource.java:314)] KafkaSource EXCEPTION, {}
原因：配置kafka source时，flume作为kafka的consumer，在consumer消费kafka数据时，默认最大文件大小是1m，如果文件大小超过1m，需要手动在配置里面调整参数，
但是在flume官网的配置说明-kakka source中，并没有找到配置fetch size的地方，但是在配置的最后一行有一个
Other Kafka Consumer Properties–These properties are used to configure the Kafka Consumer. Any consumer property supported by Kafka can be used. The only requirement is to prepend the property name with the prefix kafka.consumer. For example: kafka.consumer.auto.offset.reset
此处配置用的是kafka的配置方法，在kafka官网的配置文档-consumer configs-max.partition.fetch.bytes有相关说明
agent.sources.r1.kafka.consumer.max.partition.fetch.bytes = 10240000
此处将consumer的fetch.byte加到10m
在flume的使用过程中还会遇到各种各样的问题，但相信慢慢思考研究总会将问题解决的！
最后送大家一个flume的是使用宝典：=====================>
https://flume.liyifeng.org/?spm=a2c4e.10696291.0.0.1c6e19a4oNUrUj#
