• 趣编程,专注优质IT资源分享

  • 网站资源全部免费下载,详情点击右上角积分获取查看

  • 希望趣编程可以助在你的学习路上一臂之力

  • 网站最近会更新一些安卓开发的入门教程,感兴趣的朋友点击:平台开发——移动开发

  •    3年前 (2017-07-13)  图书资源 数据(处理) |   抢沙发  48 
    文章评分 1 次,平均分 5.0
    编辑推荐
      如何能将前端服务器上获得的数据近似实时放到Hadoop中去?有了这本完整的参考指南,你将学习Flume丰富的功能集合:收集、汇聚和写大量流数据到Hadoop分布式文件系统(HDFS)、Apache HBase、SolrCloud、ElasticSearch以及其他系统。
    本书指导运维工程师如何配置、部署和监控Flume群集,并指导开发人员如何编写Flume插件和特殊使用情况的自定义组件。你将了解Flume的设计和实现,以及使其具备高度可扩展、灵活和可靠等特性的各种功能。
    ■ 了解Flume如何通过数据生产者和消费者之间的缓冲区为流提供稳定的速率。
    ■ 深入Flume的关键组件,包括接收数据的Source和写入、转发数据的Sink。
    ■ 编写自定义插件来定制Flume接收、修改、格式化和写入数据的方式。
    ■ 探索从自己的应用程序发送数据到Flume Agent的API。
    ■ 以一种可扩展的、灵活的方式规划和部署Flume——一旦集群运行则监控集群。
    内容简介
      本书从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置
    组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume 框架的重中之重。之后,讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容,它们为Flume 提供灵活的扩展支持。最后,介绍了Flume 的高级使用,如何使用Flume 软件开发工具集(SDK)和Embedded Agent API,如何设计、部署和监控Flume 生产集群。
    总而言之,本书是一本理论结合实战,深度、广度兼备的海量日志采集系统的著作。
    作者简介
      Hari Shreedharan是Cloudera的一名软件工程师,他工作于Apache Spark、Apache Flume和Apache Sqoop。他也是Flume项目的一个提交者和PMC成员,帮助项目的方向做决定。

    目  录
    译者序

    前言
    第1章 认识Apache Hadoop和Apache HBase
    分布式文件系统HDFS
    HDFS 的数据格式
    处理HDFS 中的数据
    Apache HBase
    总结
    参考文献
    第2章 用Apache Flume 处理流数据
    我们需要Flume
    Flume 是否适合呢?
    Flume Agent 内部原理
    配置Flume Agent
    Flume Agent 之间的相互通信
    复杂的流
    复制数据到不同目的地
    动态路由
    Flume 的无数据丢失保证,Channel 和事务
    Flume Channel 中的事务
    Agent 失败和数据丢失
    批量的重要性
    重复怎么样?
    运行Flume Agent
    总结
    参考文献
    第3章 源(Source)
    Source 的生命周期
    Sink-to-Source 通信
    Avro Source
    Thrift Source
    RPC Sources 的失败处理
    HTTP Source
    针对HTTP Source 写处理程序*
    Spooling Directory Source
    使用Deserializers 读取自定义格式*
    Spooling Directory Source 性能
    Syslog Source
    Exec Source
    JMS Source
    转换JMS 消息为Flume 事件*
    编写自定义Source*
    Event-Driven Source 和Pollable Source
    总结
    参考文献
    第4章 Channel
    事务工作流
    Flume 自带的Channel
    Memory Channel
    File Channel
    总结
    参考文献
    第5章 Sink
    Sink 的生命周期
    优化Sink 的性能
    写入到HDFS

    相关下载

     

    网站所有资源均免费下载,详情点击右上角积分获取 除特别注明外,本站所有文章均为趣编程原创,转载请注明出处来自https://www.qubiancheng.cn/1309.html

    关于

    发表评论

    表情 格式

    暂无评论

    友情链接

    切换注册

    登录

    忘记密码 ?

    您也可以使用第三方帐号快捷登录

    切换登录

    网站本地注册功能正在维护中,请选择QQ登录或者微博登录。

    扫一扫二维码分享