博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apache Falcon升级为Apache顶级项目
阅读量:7039 次
发布时间:2019-06-28

本文共 1145 字,大约阅读时间需要 3 分钟。

是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载(onboard)”到Hadoop集群。近日,Apache基金会Falcon升级为顶级项目。

\\

Apache Falcon项目副主管Srikanth Sundarrajan说:

\\
\

Apache Falcon解决了大数据领域中一个非常重要和关键的问题。升级为顶级项目是该项目的一个重大进展。Apache Falcon有一个完善的路线图,可以减少应用程序开发和管理人员编写和管理复杂数据管理和处理应用程序的痛苦。

\
\\

用户会发现,在Apache Falcon中,“基础设施端点(infrastructure endpoint)”、数据集(也称)、处理规则均是声明式的。这种声明式配置显式定义了实体之间的依赖关系。这也是该平台的一个特点,它本身只维护依赖关系,而并不做任何繁重的工作。所有的功能和工作流状态管理需求都委托给工作流调度程序来完成。下面是Falcon的架构图:

\\

d746d14731c7f96fd971d2a8ba489746.png

\\

从上图可以看出,Apache Falcon:

\\
  • 在Hadoop环境中各种数据和“处理元素(processing element)”之间建立了联系;\\t
  • 可以与Hive/HCatalog集成;\\t
  • 根据可用的Feed组向最终用户发送通知。\

而按照开发人员Michael Miklavcic的说法,Apache Falcon使他们的团队逐步构建起一个复杂的管道。该管道包含超过90个和200个Feed。如果单独使用Apache Oozie,这会是一项重大挑战。Hortonworks工程部门副总裁Greg Pavlik则表示,Apache Falcon是用于“数据湖(Data lake)”建模、管理和操作的最好的、最成熟的构建模块。Hortonworks官方网站上提供了一个。

\\

另外,在升级成为顶级项目之前,Apache Falcon已经在多个行业中获得了广泛的应用,包括广告、医疗、移动应用等。InMobi是该平台的最大用户之一。该公司的联合创始人兼首席技术官Mohit Saxena表示:

\
\

对于社区而言,Apache Falcon项目毕业是一个令人自豪的时刻。他们一起解决了Hadoop生态系统中一个非常重大的数据处理和管理问题。

\
\

Apache Falcon遵循Apache许可协议2.0。要了解更多信息,请点击。

\\

感谢对本文的审校。

\\

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至。也欢迎大家通过新浪微博()或者腾讯微博()关注我们,并与我们的编辑和其他读者朋友交流。

转载地址:http://hhxal.baihongyu.com/

你可能感兴趣的文章
多网卡的7种bond模式原理
查看>>
用update和replace在sql中替换某一个字段的部分内容
查看>>
Web框架原理
查看>>
HEX解码
查看>>
.pyc是什么鬼?
查看>>
golang 详解defer
查看>>
流程控制-for序列、流程控制-for字典
查看>>
Go语言之反射
查看>>
dTree JS 基本用法
查看>>
Android Things创客DIY第一课-用Android Things展示你的智能设备创意-基础篇
查看>>
[Lab1]-EIGRP试验
查看>>
bash的算术运算和条件测试语句基础
查看>>
uwsgi+django+nginx
查看>>
安装MASM32
查看>>
***如何优雅的选择字体(font-family)
查看>>
11.python并发入门(part12 初识协程)
查看>>
华为NE40 V800 XPL功能初体验
查看>>
thinkphp3.1随机取数据库中几条记录
查看>>
设计一个Shell程序,在/userdata目录下建立50个目录,即user1~user50,
查看>>
ORA-01652 even though there is sufficient space in RECYCLE BIN
查看>>