大数据搜索与挖掘及可视化管理方案 ——Elastic Stack 5：Elasticsearch、Logstash、K_高凯主编高莘岳重阳编著_9787302473787

大数据搜索与挖掘及可视化管理方案 ——Elastic Stack 5：Elasticsearch、Logstash、K

定价：¥49

中教价：¥14.70 (3.00折）

库存数： 0

购买数量：

对大数据的搜索、挖掘、可视化以及集群管理，在当今的互联网时代是很有必要的。本书的分布式大数据搜索、日志挖掘、可视化、集群监控与管理等方案是基于Elastic Stack 5而提出的，它能有效应对海量大数据所带来的分布式数据存储与处理、全文检索、日志挖掘、可视化、集群管理与性能监控等问题。构建在全文检索开源软件Lucene之上的Elasticsearch，不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析；Logstash能有效处理来源于各种数据源的日志信息；Kibana是为Elasticsearch提供数据分析的Web接口，可使用它对数据进行高效的搜索、可视化、分析等操作；XPack监控组件可通过Kibana监控集群的状态；Beats是采集系统监控数据的代理。了解基于Elastic Stack 5的各相关组件并掌握它们的基本使用方法和技巧，对于大数据搜索与挖掘及管理是很有必要的。和第1版、第2版相比，本书力求反映基于Elastic Stack 5架构的*成果，内容新颖，强调实践。本书可为高等学校相关专业（如计算机科学与技术、软件工程、物联网、信息管理与信息系统、数据科学与大数据技术）学生的学习和科研工作提供帮助，同时对于从事大数据搜索与挖掘、日志分析、信息可视化、集群管理与性能监控的工程技术人员和希望了解网络信息检索技术的人员也具有较高的参考价值和工程应用价值。

第3版前言

随着海量数据管理技术在国民经济以及互联网、物联网、移动计算等各个领域的广泛应用，分布式大数据搜索、日志分析与挖掘、数据可视化、集群管理与性能监控等问题正日益受到IT人员的普遍关注。开源的、基于Lucene的全文搜索引擎Elasticsearch以其独到的分布式数据处理能力，正发挥着越来越重要的作用。根据国际权威的数据库产品评测机构DBEngines统计，从2016年1月起，Elasticsearch已超过Solr等，成为排名第一的搜索引擎类应用，并且这种成长势头目前仍非常强劲。在Elasticsearch基础上，也衍生出Logstash、Kibana、Beats、XPack、Elastic Cloud、Security、Alerting、Monitoring、Graph、Reporting、ESHadoop等诸多相关组件，它们构成了Elastic Stack的核心，为编程人员提供了一个分布式可扩展的信息存储和全文检索机制、基于Logstash的日志处理机制、基于Kibana的挖掘结果可视化机制等。不仅如此，还有Shield（安全和管理插件，如权限控制、加密通信、审计等）、Watcher（性能监控平台等）、Beats（提供了在应用服务器间传输事务信息的分析器PacketBeat、从服务器端传送日志的FileBeat、分时段采集服务器上操作系统和服务的各项指标的MetricBeat、负责传输Windows事件日志的WinlogBeat）等中间件。在实时大数据处理的应用中，上述软件通常配合使用。2017年上半年，谷歌宣布将与Elastic建立合作伙伴关系，以提供用于Elasticsearch和Kibana开源软件的完整版本。除提供免费的服务外，谷歌的服务还将包括仅适用于初创公司的高端订阅功能（如图形分析、警报和商业支持等）。因此，从实战的角度掌握Elasticsearch、Logstash、Kibana、XPack、Beats等的入门技巧和基本使用方法，很有必要。

本书第1版《实战Elasticsearch、Logstash、Kibana分布式大数据搜索与日志挖掘及可视化解决方案》以及本书第2版《大数据搜索与日志挖掘及可视化方案Elastic Stack: Elasticsearch、Logstash、Kibana》，从出版发行到现在，虽时间不长，但已重印了多次。考虑到部分读者对本书第1版、第2版的修改意见，我们对其中的部分内容进行了必要的补充和修改、完善，对Elastic Stack 5新推出的5.x版本进行了介绍。同本书的第1版和第2版一样，第3版仍强调实践和面向初学者，并通过实战讲解的方式，让读者更好地了解Elasticsearch、Logstash、Kibana、XPack、Beats等的应用。除第10章兼顾老版本外，其余章节均在Elastic Stack 5的基础上完成。全书内容包括Elasticsearch的架构简介、文档索引及管理、信息检索与聚合、面向Java的Elasticsearch Client部分功能实现、Elasticsearch配置与集群管理、基于Logstash的日志处理、基于Kibana的数据分析可视化、基于XPack的系统运行监控、基于Beats的数据解析传输、应用实例等。本书介绍的基于Elastic Stack 5架构的分布式大数据搜索、日志挖掘、可视化、集群管理与性能监控虽都是入门方案，但对有一定基础的中、高级使用者亦有一定的参考和工程应用价值。

本书第3版由高凯提出写作大纲并撰写了第1章，高莘、岳重阳完成了全书其余章节的内容，并由高凯审校了全书。在本书的写作过程中，也得到了多方面的支持与帮助。阮冬茹、高国江、李媚、华宇、何晓艺、张姗姗、孟天宏、刘多星、高成亮、毛雨欣、聂颖杰、韩佳等均提供了协助。在写作过程中，参考了Elastic Stack官方网站https://www.elastic.co/以及互联网上众多热心网友提供的素材。本书的顺利完成也得益于参阅了大量的文献及网上资料。在此谨向这些文献的作者、热心网友以及为本书提供帮助的老师，特别是那些由于篇幅所限未在参考文献中提及的相关文献的作者和网站，致以诚挚的谢意和崇高的敬意。

由于我们的学识、水平均有限，书中不妥之处在所难免，恳请广大读者批评指正。

编者

2017年6月[1][2]

第2版前言

本书第1版从出版发行到现在，虽仅过去短短的半年时间，但在这期间，伴随着《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》中国家大数据发展战略的实施，伴随着海量数据管理技术在国民经济以及互联网、物联网、移动计算等各个领域的广泛应用，分布式大数据搜索与日志挖掘及可视化解决方案正日益受到各行各业人员的普遍关注。开源的、基于Lucene的全文搜索引擎Elasticsearch以其独到的分布式数据处理能力，正发挥着越来越重要的作用。根据国际权威的数据库产品评测机构DBEngines统计，在2016年1月，Elasticsearch已超过Solr等，成为排名第一的搜索引擎类应用。

ELK Stack是以Elasticsearch、Logstash、Kibana三个开源软件为主的大数据处理工具集，也是目前开源的最流行的大数据分析解决方案，它为编程人员提供了一个分布式可扩展的信息存储和全文检索机制、基于Logstash的日志处理机制、基于Kibana的挖掘结果可视化的机制。不仅如此，ELK Stack还有Shield（安全和管理插件，如权限控制、加密通信、审计等）、Watcher（性能监控平台等）、Beats（官方提供了用来收集日志的Filebeat、用来收集系统基础设置数据的Topbeat、统计收集网络信息的Packetbeat）等中间件。在实时大数据处理的应用中，上述软件通常配合使用。因此，从实战的角度掌握Elasticsearch、Logstash、Kibana等软件的基本使用方法和技巧，很有必要。

考虑到部分读者对本书第1版的修改意见，我们对其中的部分内容进行了必要的补充和修改、完善。一方面，对ELK Stack的最新版本进行了简述，力求反映ELK Stack的最新成果；同时，考虑到与本书第1版的内容衔接，对部分使用上无差异的操作，仍旧以Elasticsearch、Logstash、Kibana的经典版本为基础进行介绍。另一方面，对Elasticsearch中涉及索引、检索、统计、Java实现、集群管理的内容（主要涉及第1版中的第2～6章的内容），给出了实例。同第1版一样，本书第2版仍强调实践和面向初学者，并通过实战讲解的方式，让读者更好地了解ELK Stack的应用。全书涵盖ELK Stack简介、文档索引与处理、信息检索与过滤、信息统计与分析、基于Java客户端的Elasticsearch功能实现、Elasticsearch配置与管理、基于Logstash的网络日志处理、基于Kibana的分析结果可视化、应用实例等内容。本书介绍的基于ELK Stack架构的分布式大数据搜索与日志挖掘及可视化是入门方案，对有一定基础的中、高级使用者亦有一定的参考和工程应用价值。

全书由高凯提出写作大纲。第1章、第6章和第7章中的部分内容由高凯撰写，其余各章由高莘撰写，最后由高凯完成全书统稿和审校工作。书中部分实验数据集亦由高凯提供。在本书的写作过程中，也得到了多方面的支持与帮助。第2～6章中的实例部分分别由何晓艺、张姗姗、孟天宏、刘多星等参加编写。同时，我们也参考了相关文献和互联网上众多热心网友提供的素材。本书的顺利完成也得益于参阅了大量的相关工作及研究成果，在此谨向这些文献的作者、热心网友，以及为本书提供帮助的老师，特别是那些由于篇幅所限未及在参考文献中提及的相关文献的作者和网站，致以诚挚的谢意和崇高的敬意。

由于我们的学识、水平均有限，书中不妥之处在所难免，恳请广大读者批评指正。

编者

[1][2]

第1版前言

建立在分布式系统之上的大数据搜索与挖掘应用，是当今IT领域的研究与工程实践热点之一。在DBEngines公布的2015年度最受欢迎的数据库系统中， Elasticsearch名列前茅。作为开源分布式检索与数据处理平台，Elasticsearch 不仅仅是一个数据库，它还是一个基于Lucene构建的开源的、分布式RESTful信息检索框架。基于Elasticsearch Logstash Kibana的信息处理架构，为编程人员提供了一种分布式可扩展的信息存储和全文检索机制以及基于Logstash的日志处理机制、基于Kibana的挖掘结果可视化机制。它不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析和可视化。因此，从实战的角度掌握Elasticsearch、Logstash、Kibana的基本使用方法和技巧，很有必要。

大数据这个术语的出现，大概可追溯到基于Lucene的Apache开源项目Nutch。从2009年开始，大数据开始成为互联网行业的流行词汇，也吸引了越来越多的关注。物联网、云计算、移动互联网、手机与平板电脑、PC以及遍布各个角落的各种各样的传感器，无一不是大数据的来源方或承载方。可以说，大数据就在我们身边。从阿里巴巴、1号店、京东商城等电子商务数据，到QQ等即时聊天的内容，再到Google、Bing、百度，又到社会网络与微博、微信等，都在生产、承载着大数据。随着信息处理量的增大，对大数据的分布式存储、快速搜索与挖掘显得特别必要。例如，挖掘用户的行为习惯和喜好，从凌乱纷繁的大数据背后找到符合用户兴趣和习惯的产品和服务，并对产品和服务进行有针对性的调整和优化，本身就蕴含着巨大的商机。但是，传统的基于关系型数据库管理系统的方法，在高效处理大数据时显得有些力不从心。虽然开源的全文检索工具Lucene能处理非结构化和半结构化的信息，但其某些版本在分布式处理方面的不足限制了它在大数据方面的应用。我们希望找到一个快速的分布式信息检索解决方案，希望它是一个零配置和易于上手的全文检索模式，希望它能够简单地使用JSON通过HTTP索引数据，更希望它支持分布式处理并支持系统扩展，能够实时搜索，并且稳定、可靠。

Elasticsearch是一个基于Lucene的开源分布式信息检索架构和全文搜索工具。构建在Elasticsearch基础上的日志处理工具Logstash和信息可视化组件Kibana，能有效衔接并高效处理由Elasticsearch索引的分布式数据，[1][2]三者优势互补，各司其职，共同完成网络大数据分布式存储、倒排索引、全文检索、Web日志处理、挖掘结果可视化这一整套的信息处理流程。目前，国内这方面的资料很少，仅有的几部译著所提及的Elasticsearch版本较低，且没有任何有关Logstash和Kibana的书籍。因此，我们萌发了一个想法，将Elasticsearch、Logstash、Kibana（统称为ELK）联袂奉献给广大软件开发者，帮助他们尽快熟悉ELK架构，并构建自己的Web应用程序，完成对分布式信息的检索与分析工作。

本书强调实践、内容新颖、条理清晰、组织合理，通过实战讲解的方式，让读者更好地了解ELK架构的实现细节。全书内容涵盖ELK简介、文档索引与处理、信息检索与过滤、信息统计与分析、基于Java客户端的Elasticsearch功能实现、Elasticsearch配置与管理、基于Logstash的网络日志处理、基于Kibana的分析结果可视化、应用实例等多个部分。

全书由高凯提出写作大纲。第1章和第6章由高凯撰写，其余各章均由高莘撰写，最后由高凯完成全书统稿和审校工作。其中，第1章概述Elasticsearch、Logstash、Kibana的主要功能，对涉及的一些概念进行简介，并从实用的角度出发，通过对实例的讲解，介绍索引、检索的实现机制；第2章对Elasticsearch中的索引、映射等进行说明；第3章介绍Elasticsearch中的检索功能；第4章介绍基于Facets、Aggregations的数据聚合与统计功能；第5章从工程实践的角度，介绍面向Java客户端的Elasticsearch部分功能的设计与实现；第6章介绍Elasticsearch的配置及一些高级功能、监控等的使用；第7章介绍日志处理及Logstash的应用；第8章介绍基于Kibana的可视化技术；第9章给出一个综合应用实例，该实例从网页采集、处理、存储、索引、日志处理、可视化展示等入手，介绍了基于ELK的分布式信息检索与日志挖掘解决方案。

本书的顺利完成也得益于参阅了大量的相关工作及研究成果，部分内容源自Elasticsearch、Logstash、Kibana的官方文档。在写作过程中，参考了相关文献和互联网上众多热心网友提供的素材，在此谨向这些文献的作者、热心网友以及为本书提供帮助的老师，特别是那些由于篇幅所限未及在参考文献中提及的相关文献的作者和网站，致以诚挚的谢意和崇高的敬意。

由于我们的学识、水平均有限，书中不妥之处在所难免，恳请广大读者批评指正。

编者

你还可能感兴趣

我要评论

您的姓名	验证码：
留言内容