最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

热头条丨大数据开发相关技术汇总

来源：博客园


【资料图】

Hadoop

Kaflka

分布式数据日志收集，生产者消费者模式。

Sqoop

Hadoop数据导入，导出工具。自动生成mapreduce。

  • 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
  • 导出数据：从Hadoop的文件系统中导出数据到关系数据库;
  • 特点：
    • 可以将关系型数据库中的数据导入hdfs、hive或者hbase等hadoop组件中，也可将hadoop组件中的数据导入到关系型数据库中；
    • sqoop在导入导出数据时，充分采用了map-reduce计算框架，根据输入条件生成一个map-reduce作业，在hadoop集群中运行。采用map-reduce框架同时在多个节点进行import或者export操作，速度比单节点运行多个并行导入导出效率高，同时提供了良好的并发性和容错性；
    • 支持insert、update模式，可以选择参数，若内容存在就更新，若不存在就插入；
    • 对国外的主流关系型数据库支持性更好。

spark

Flink

flume

Dysnc

Mahout

关键词：