hadoop HDFS实时收集数据

我们使用hadoop，经常会遇到将关系型数据库数据导入HDFS、HIVE、PIG、HBASE，Sqoop可以解决由RDBMS跟Hadoop,Hbase,Hive直接的数据同步，那么我们实时向hadoop HDFS收集数据使用何种方式？
我们大家一般情况下都是用hadoop  -put 从本地将文件上传到hdfs文件系统中，还有一种命令是hadoop -copyFromLocal 从本地复制到hdfs文件系统中，这些方式都是通过命令方式push数据到hdfs文件系统，也是我们经常使用的方式，因此也有这样的架构，写一个日志服务收集日志将收集到的数据实时存到本地，然后在设定的时间点使用上面两种命令将文件上传到hdfs文件系统，最后执行相关。