基于大数据的数据挖掘技术与应用

我们广泛应用大数据进行工作处理不是因为其海量数据的模式，而是想要从更为丰富的数据内容中找寻有价值信息，而大数据因为本身数据总量很大，所以导致了其价值密度较低，很多看似相关的数据信息其实对于我们的实际工作并无价值，而有价值信息是比较少的，我们在海量的数据中找寻有效的有价值信息是比较影响工作效率的，所以我们要进一步压缩数据范围，对数据进行分析和筛选，有效降低信息利用难度。当前的大数据系统早已不是简单的海量数据搜集储存平台，想要有效利用大数据技术的技术优势提高自身工作质量和工作效率就必须建立综合性的大数据管理系统，该系统应该达成从数据搜集、数据统计、数据储存、数据整理分析等一系列功能的综合能力，这其中数据挖是其中重要的组成部分。

一、数据挖掘技术的分析方法

（一）聚类

聚类分析法使我们在进行数据挖掘过程中常用的分析方法，在大量数据面前，我们将数据整体划分为多个以相似分类标准建立的不同集合中，同时在每数据集合之中找到不同数据个体之间的关联，这样我们就能够让不同数据个体之间建立一定的联系，是之产生关联性。由于我们在寻找有价值数据的过程中，是应用各种相关数据来对同一个问题进行解答，所以各有用数据之间必然存在一个相应的关联，聚类分析就是将数据整体进行高相似度分类后在各自的数据集合中寻找数据的关联性，依靠这种关联性来寻找价值信息，这种分析方法常常用来在大数据中进行客户需求分析，在行业实际应用上比较广泛[1]。

（二）分类

分类非常好理解，就是我们根据问题的不同类型来在众多可能存在有价值信息的整体中进行数据分类，分类的标准和分类的类型要根据具体问题来进行决定，同时在分类过程中保持各个分类项目组中的数据符合分类标准确保数据集内的数据都满足该组分分类要求。分类是在一个数据整体内，对不同信息数据能够提供的不同信息内容进行有效的分类，我们在解决一个相关问题的情况下可能会需要到多种与问题相关的数据信息，这时我们采用分类法取代数据整体进行不同内容类型的分类，在需要应用到相关类型数据的情况下，只需要到已经划分好的数据集中去进行寻找使用即可，这也是我们在进行数据挖掘过程中大量应用的一种分析方法[2]。

（三）关联分析

我们生活的世界本身就是一个整体，所以万事万物之间必然存在一定的关联，所以不论数据范围有多大，数据总量有多少，我们还是能够找到数据与数据之间的关联性，这种分析方法一般应用于不同产品之间的相关性分析，在解决这列问题的过程中，我们就需要对大量数据进行关联新分析，找寻不同产品数据之间的因果性关系、比例关系等等，这种关联性分析实际目的就是为了在大量数据的支持下探寻不同类型事物之间的关联，从而得出其相关性，我们在大数据挖掘分析过程中经常会用这种方式来探究市场因素对产品的影响，然后根据数据对产品进行改进[3]。

（四）特征分析

特征分析是我们面对大量数据的情况下，采用个体特征代表整体内容的方式所采取的一种分析方式，这种分析方式的使用也是具有一定局限性的，在一些特定的大数据问题分析过程中我们可以采用这种分析方式，例如销售人员对客户流失原因进行调查时，我们可以对数据库内的数据进行少部分提取，从一定量的数据特征上了解客户流失原因，从而改进当前你营销方式减少客户流失现象，

二、数据挖掘技术的应用

（一）数据挖掘的基本过程

数据挖掘本身是工作量比较大，实行起来比较复杂的一个系统性工作，我们在进行数据挖掘的过程中应该明确三个步骤，首先是数据准备工作，这里所指的数据准备不是简单的将大量数据进行搜集储存，而是在完成这一过程中前提下明确了解目标数据要求，我们进行数据挖掘工作就是为了在海量数据中缩小数据利用范围，充分与其所数据价值密度，所以我们在进行数据准备的过程中必须了解目标数据的类型和要求，我们在进行数据准备的过程中不能盲目的对数均进行分析，需要积极掌握工作中数据应用的具体情况来实现分析工作的准确和高效，整个准备过程可以说是实现两个目标：一是准备好需要进行挖掘的数据整体，二是明确数据挖掘目的。其次是数据挖掘工作，这也是整个工作过程的核心，前面我们已经对相关分析方法做了简单介绍，在数据挖掘过程中，我们的信息处理方式不是一成不变的，我们要根据当前需要进行解决的问题形式、问题内容、问题类型进行分析，同时找到适合于找到解决该问题有价值信息的数据挖掘方式，例如，在数据挖掘工作中，我们可以结合挖掘目标和当前数据整体情况来制定一个合理的计算方式，从当前数据中进行特征性计算，该特征应该是解决相应问题的必要条件，那么对于数据中不含有该特征内容的数据进行排除，当然“特征”应该是具有代表性意义且能够通过一种特定计算方式进行表达的内容，这样我们才可以在数据整体中通过计算的形式来进行特征筛选从而起到数据挖掘的作用，进一步降低数据总量，压缩数据价值密度，让人们在数据利用过程中获得更高的工作效率。最后是强化计算机相关专业知识的利用，这也是降低数据利用范围有效进行数据挖掘的重要步骤[4]。

（二）技术应用的延展方向

在进行数据挖掘的过程中，我们已经不能只考虑自身企业状况对于数据的要求和影响了，在当前社会高速发展的情况下，社会经济因素、技术因素以及社会发展趋势等都会在很大程度上影响数据的有效利用，同时数据所具有的实时性特征也应该被有效利用，所以我们在进行数据挖掘过程中不仅要考虑当前需要解决的问题本身，还要考虑到能够影响该问题的所有相关因素，那么我们在数据挖掘过程中对于目标数据的判断就会发生变化，在这一过程中，一些数据中所具有的变化趋势信息以及社会背景影响因素等就会显得非常重要，对这一现象的充分考虑突显了信息挖掘工作在大数据时代背景下的重要意义，这也是我们在数据挖掘工作中的整体性思考和创新意识的体现。其次我们的大数据信息系统数据来源于社会各界，相关信息的真实性和实效性是比较复杂的，我们在大数据应用的过程中，应该对海量数据进行筛选，当然也应该注意相关信息的真实性，对不具备参考意义的相关信息进行剔除这也是数据挖掘工作的重要应用[5]。

三、结束语

我们在进行大数据的数据挖掘工作时，不仅要充分考虑如何压缩信息价值密度，同时也要从整体上来对需要解决的问题进行分析，通过针对性的挖掘方式来降低信息考虑范围，实现大数据信息的高效利用，从现在实际情况来看，数据挖掘是大数据应用过程中的重要工作内容。

摘要：在大数据时代背景下，我们在工作过程中往往需要面临海量数据，虽然数据的总量越多我们能够获取的相关信息也就越全面，得出的结论也更加准确，但是大数据的一个基本特点就是信息价值密度较低，所以海量数据中真正存在有我们所需信息的部分是有限的，同时一些具有相关应用价值的数据信息不一定能够从表层进行了解，所以我们想要通过大数据来有效获得价值信息还需要对海量数据进行数据挖掘，这也是大数据时代我们在数据技术上的一个重要发展方向，本文将对大数据的数据挖掘技术与技术应用进行详细分析。

关键词：大数据,数据挖掘,数据应用

参考文献

[1] 李容容.基于大数据的数据挖掘技术与应用[J].消费导刊, 2017 (5) :38.

[2] 唐云凯, 王芳, 刘淑英.海量数据挖掘过程相关技术研究进展[J].电脑知识与技术, 2018, 14 (36) :1-2.

[3] 王妤姝.基于大数据的数据挖掘技术与应用[J].数字技术与应用, 2016 (4) :115.

[4] 孙亮.基于云计算的云数据挖掘引擎研究[J].山东农业工程学院学报, 2018, 35 (12) :27-28.

[5] 王鹏.云计算技术下的数据挖掘平台建构探讨[J].自动化与仪器仪表, 2018, (11) :236-238, 243.