大数据技术简介
大数据技术和Hadoop听起来可能是一个热门词汇。随着各个行业和领域的数据和信息领域的巨大增长，建立和引入一种高效的技术变得非常重要，该技术能够满足负责数据生成的客户和大型行业的所有需求和要求。早些时候，数据是由普通编程语言和简单结构化查询语言处理的，但现在这些系统和工具在处理大数据时似乎没有多大作用。
大数据技术被定义为一种技术和软件实用工具，用于分析、处理和提取大量极其复杂的结构和大型数据集中的信息，而传统系统很难处理这些信息。大数据技术用于处理实时和批量相关数据。机器学习已经成为日常生活和每个行业中非常关键的组成部分，因此通过大数据管理数据变得非常重要。
Hadoop、数据科学、统计和；其他
大数据技术的类型
在开始技术列表之前，让我们先看看所有这些技术的大致分类。
它们主要可分为4个领域。
- 数据存储
- 分析
- 数据挖掘
- 形象化
让我们先介绍一下存储保护伞下的所有技术
1。Hadoop：在大数据方面，Hadoop是第一个发挥作用的技术。这基于map reduce体系结构，有助于处理与批处理相关的作业和处理批处理信息。它设计用于在分布式数据处理环境中存储和处理数据，以及商品硬件和简单的编程执行模型。它可以用于存储和分析各种不同机器中的数据，具有高存储、高速度和低成本。这构成了Apache软件基金会在2011年度开发的大数据技术的核心部分之一，并用java编写。
2。MongoDB：大数据技术在存储方面的另一个非常重要和核心的组件是MongoDB NoSQL数据库。它是一个NoSQL数据库，这意味着关系属性和其他RDBMS相关属性不适用于它。它不同于传统的使用结构化查询语言的RDBMS数据库。它使用模式文档，数据存储的结构也不同，因此它们有助于保存大量数据。它是一个跨平台的面向文档的设计和数据库程序，使用类似JSON的文档和模式。在大多数金融机构中，这成为了一个非常有用的操作数据存储用例，从而取代了传统的大型机。MongoDB在高容量和分布式体系结构中处理灵活性和多种数据类型。
3。Hunk：通过使用虚拟索引，通过远程Hadoop集群访问数据非常有用，还可以使用Splunk搜索处理语言来分析数据。hunk可以用来报告和可视化来自Hadoop和NoSQL数据库和源的大量数据。它是2013年由Splunk团队用Java编写的。
<强>4。Cassandra：Cassandra是流行的NoSQL数据库列表中的首选，这是一个免费的开源数据库，它是分布式的，具有广泛的柱状存储，可以有效地处理大型商品集群上的数据，也就是说，它被用来提供高可用性，没有单一故障点。主要功能包括分布式特性、可扩展性、容错机制、MapReduce支持、可调一致性、查询语言属性、支持多数据中心复制以及最终一致性。
接下来让我们谈谈大数据技术的不同领域，即数据挖掘
5。Presto：它是一个流行的开源和基于SQL的分布式查询引擎，用于对各种规模的数据源运行交互式查询，数据源大小从千兆字节到千兆字节不等。在它的帮助下，我们可以在Cassandra、Hive、专有数据存储和关系数据库存储系统中查询数据。这是一个基于java的查询引擎，是由Apache基金会在2013年开发的。Netflix、Airbnb、Checkr、Repo和Facebook等几家公司充分利用了Presto工具。
6。ElasticSearch：这是当今搜索领域的一个非常重要的工具。这构成了麋鹿群的一个重要组成部分，即弹性搜索、Logstash和Kibana。ElasticSearch是一个基于Lucene库的搜索引擎，类似于Solr，用于提供一个纯分布式、支持多租户的全文搜索引擎。它有一个无模式JSON文档列表和一个HTTP web界面。它是用JAVA语言编写的，由Elastic公司在2012年开发。使用elasticsearch的公司有：LinkedIn、StackOverflow、Netflix、Facebook、谷歌、埃森哲等。
现在，让我们来了解一下作为数据分析一部分的所有大数据技术：
7。Apache Kafka：以其发布-订阅或发布-订阅（俗称）而闻名，是一个直接消息传递、异步消息传递代理系统，用于接收实时流数据并对其执行数据处理。它还规定了保留期，数据可以通过生产者-消费者机制进行渠道化。它是最流行的流媒体平台之一，与企业消息系统或消息队列非常相似。到目前为止，Kafka已经推出了许多增强功能，其中一种主要的是Kafka confluent，它为Kafka提供了额外级别的属性，如Schema registry、Ktables、KSql等。它是由Apache软件社区在2011年开发的，用Java编写。使用这项技术的公司包括Twitter、Spotify、Netflix、Linkedin、雅虎等。
8。Splunk：Splunk用于从可搜索存储库中捕获、关联和索引实时流数据，从中生成报告、图形、仪表板、警报和数据可视化。它还用于安全性、法规遵从性和应用程序管理，以及web分析，生成业务见解和业务分析。它是由Splunk用Python、XML和Ajax开发的。
9。Apache Spark：现在是大数据技术领域最关键、最受期待的技术，即Apache Spark。它可能是当今需求量最大的软件之一，并使用Java、Scala或Python进行处理。它通过使用Spark streaming来处理实时流数据，Spark streaming使用批处理和窗口操作来实现这一点。Spark SQL用于在RDD之上创建数据帧和数据集，从而提供一种良好的转换和操作风格，这些转换和操作构成了Apache Spark Core的一个组成部分。Spark Mllib、R和graphX等其他组件在分析和执行机器学习和数据科学方面也很有用。内存计算技术使它不同于其他工具和组件，并支持多种应用。它主要由java语言中的Apache软件基金会开发。
10。R语言：R是一种编程语言和一种自由软件环境，用于统计计算，也用于R中最重要的语言之一的图形。这是数据科学家、数据挖掘者和数据从业者在开发统计软件和主要数据分析方面最流行的语言之一。
现在让我们来讨论与数据可视化相关的技术
11。Tableau:它是商业智能领域中增长最快、功能最强大的数据可视化工具。数据分析是一种非常快速的机器，在Tableau的帮助下是可能的，可视化是以工作表和仪表板的形式创建的。它是由TabLao公司在2013年度开发的，用Python、C++、java和C编写。
12。Plotly：Plotly主要用于更快、更高效地制作图形和相关组件。它有一组更丰富的库和API，如MATLAB、Python、R、Arduino、Julia等。这可以在Jupyter notebook和Pycharm中交互使用，并可用于设计交互式图形。它最早于2012年开发，并用javascript编写。为数不多的公司正在密谋使用圣骑士、比特银行等。
推荐文章
这是大数据技术指南。这里我们讨论了大数据技术的介绍和类型。你也可以浏览我们的其他建议文章
