数据挖掘介绍 数据挖掘（DataMining，DM）：就是从大量数据（包括文本）中挖掘出隐含的、未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程；是利用各种分析工具在海量数据中发现模型和数据之间关系的过程。这些模型和关系可以被企业用来分析风险、进行预测。 数据挖掘的目的就是从数据中淘金，就是从数据中获取智能的过程，数据挖掘是提供了从数据到价值的解决方案。 数据工具方法目标行动价值。 目前，数据挖掘已有一系列应用：分类分析：有监督学习，将数据映射到事先定义的群组或类。应用在将信用卡人分为低中高风险群等。回归分析：用属性的历史数据预测未来趋势，应用预测哪些用户在未来半年会流失等。聚类分析：无指导学习，在没有给定划分类的情况下，根据信息相似度进行信息聚类。应用在对客户行为分析，对客户分层进行精准营销。关联分析：发现事物间的关联规则或称相关程度，常用在交叉销售，交叉分析，著名的啤酒与尿布。时序模式：已知的数据预测未来的值，回归不强调数据间的先后顺序。偏差分析：来发现与正常情况不同的异常和变化，并进一步分析这种变化是有意的诈骗行为，还是正常的变化。常用在防欺诈，以及保险领域。 以上这些应用涉及的技术和工具各不相同，然而却可以依据统一的方法论来实行，并可以协同作战，解决许多有价值的商业问题。数据挖掘建模的一般过程 第一步，数据准备 数据选择主要考虑的包括：哪些数据源可用？哪些数据与当前挖掘目标相关？如何保证取样数据的质量？是否在足够范围内有代表性？数据样本取多少合适？如何分类（训练集、验证集、测试集）？ 选择数据的标准，一是相关性，二是可靠性，三是最新性，而不是动用全部企业数据。通过数据样本的精选，不仅能减少数据处理量，节省系统资源，而且能通过数据的筛选，使想要反映的规律性更加突显出来。 1）数据探索：数据清洗和构造 前面所叙述的数据选择，多少是带着人们对如何达到数据挖掘目的的先验认识进行操作的。 当我们拿到了一个样本数据集后，它是否达到我们原来设想的要求？其中有没有什么明显的规律和趋势？有没有出现从未设想过的数据状态？因素之间有什么相关性？它们可区分成怎样一些类别？这都是要首先探索的内容。 对所抽取的样本数据进行探索、审核和必要的加工处理，是保证预测质量所必需的。可以说，预测的质量不会超过抽取样本的质量。 数据探索主要包括：异常值分析、缺失值分析、相关分析、周期性分析、样本交叉验证等。 2）数据预处理：整合和格式化 当采样数据维度过大，如何进行降维处理？采样数据中的缺失值如何处理？这些都是数据预处理要解决的问题。 由于采样数据中常常包含许多含有噪声、不完整、甚至是不一致的数据。显然对数据挖掘所涉及的数据对象必须进行预处理。那么，如何对数据进行预处理以改善数据质量，并最终达到完善最终的数据挖掘结果的目的呢？ 数据预处理主要包括以下内容：数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据规约。第二步，模式发现 样本抽取完成并经预处理后，接下来要考虑的问题是：本次建模属于数据挖掘应用中的哪类问题（分类、聚类、关联规则或者时序模式），选用哪种算法进行模型构建？ 模型构建的前提是在样本数据集中发现模式，比如：关联规则、分类预测、聚类分析、时序模式等。 在目标进一步明确化的基础上，我们就可以按照问题的具体要求来重新审视已经采集的数据，看它是否适应挖掘目标的需要。第三步，模型构建 确定了本次建模所属的数据挖掘应用问题（分类、聚类、关联规则或者时序模式）后，还需考虑：具体应该采用什么算法，实施步骤是什么？ 这一步是数据挖掘工作的核心环节，模型构建是对采样数据轨迹的概括，它反映的是采样数据内部结构的一般特征，并与该采样数据的具体结构基本吻合。 预测模型的构建通常包括模型建立、模型训练、模型验证和模型预测4个步骤，但根据不同的数据挖掘分类应用会有细微的变化。第四步，模型评价 模型评价的目的是什么？如何评价模型的效果？通过什么评价指标来衡量？ 模型效果评价通常分两步： 第一步是：直接使用原来建立模型的样本数据来进行检验。 假如这一步都通不过，那么所建立的决策支持信息价值就不太大了。一般来说，在这一步应得到较好的评价。这说明你确实从这批数据样本中挖掘出了符合实际的规律性。 第一步通过后，第二步是：另外找一批数据，已知这些数据是反映客观实际的、规律性的。 业务应用场景：网红销售额评估模型、客户ROI评估模型、网红品类推荐模型、网红报价建议模型、网红欺诈行为预警模型、网红流失预警模型等结论 实践表明：由于人工智能发展的局限性，计算机在未来相当长的一段时期内不可能像人类这样会进行复杂的思考，它只会按照人的指令工作。 但是，计算机拥有海量的数据存储能力和超强的计算能力，所以只要我们建立合适的业务模型，设计完善的执行程序，选择正确的分析算法，它一定可以更好地为我们服务。 数据挖掘技术是一个年轻且充满希望的研究领域，商业利益的强大驱动力将会不停地促进它的发展。 每年都有新的数据挖掘方法和模型问世，人们对它的研究正日益广泛和深入。尽管如此，数据挖掘技术仍然面临着许多问题和挑战：如数据挖掘方法的效率亟待提高，尤其是超大规模数据集中数据挖掘的效率；开发适应多数据类型、容噪的挖掘方法，以解决异质数据集的数据挖掘问题；动态数据和知识的数据挖掘；网络与分布式环境下的数据挖掘等。 另外，近年来短视频，图片等多媒体数据库发展很快，面向多媒体数据库的挖掘技术今后将成为研究开发的热点。 本文由无语凝咽原创发布于人人都是产品经理。未经许可，禁止转载 题图来自Unsplash，基于CC0协议
如何选出最适合自己的避孕套尺寸避孕套尽管是一个极具敏感的词却是男女之间不得不谈的事情，于是网上出现有关避孕套的各种问题，如何选择适合自己的避孕套直接关系到型生活质量，这就难怪这么多人关心这个话题，介于此，今……骨髓空洞症是什么疾病对患者来说必须要知道骨髓空洞症是什么疾病，患病后若是对疾病乃至自身病情了解不清楚，就会妨碍病情的观察和疾病的诊疗，一旦错过了最佳的治疗时机，问题就严重了。可以说这样的神经内科疾……冬天补水喷雾哪个牌子好用适合冬季随时补水的喷雾推冬天补水喷雾哪个牌子好用？很久没给大家推荐护肤产品啦，最近气候逐渐转凉，秋天天气干燥，紫外线照射时间长，导致皮肤容易缺水。应对秋季的干燥，除了日常的保湿，最好的办法就是随身携带……研究生们刚开始看英文文献是怎么看的说起刚开始看文献我算是淌了一条血路记得那时我还天真，看了一篇Cell，组会上还想给老师显摆显摆自己看的文献有多高大上理想很丰满，现实很骨感翻车现场1我：……女性脸色暗黄吃什么水果好爱美是女性的天性，特别是在中国，大家对于美女的标准都是皮肤白皙，更有一白遮百丑的俗话，可见白对于女性的审美有着非常大的影响，可是在我们的生活中，经常会看到许多的女性肤色暗黄，看……小孩长牙吃什么比较好小孩子一般不到一岁就能够长出2颗小乳牙，等到接近2岁的时候，就会长很多个牙齿了，这个时候小孩子就可以多吃一些饭菜了，稍微有点嚼劲的食物也能够吃了，平时的奶粉饮用量家长们要给孩子……什么是儿童安全智能手环对于大人来说，不管去哪里都不会存在安全问题，但是儿童就不一样，在陌生的环境中，他们将面临各种安全隐患。为了避免孩子走丢，很多家长给孩子买了儿童安全智能手环。那么什么是儿童安全智……小小细节微感动八年级我们的教室，刺眼的阳光从树枝间泻出，七彩的光圈照耀着我的眼睛，眼前顿时似有金子闪烁，闷热的空气中弥漫着期中考试特有的气息，又想起，相似的情景中那一微小的细节，久久的在我心……琅琊王氏阿妩真的存在吗琅琊王氏家族背景介绍《上阳赋》中，阿妩身份十分高贵，她是琅琊王氏之女，母亲是皇上的姐姐，父亲是丞相，可以说阿妩是含着金汤匙出身。但阿妩高贵的身份，并没有给她带来太多幸福感。父亲一心只为政权，甚至打……盘点心理学史上大最受争议的实验小编按：一直以来，心理学在造福人类的同时，也伴随着关于伦理道德问题的大讨论，一次深刻的人性揭露背后，也许就是一个备受争议的实验。我们该抱着怎样的心态去看待这些学术贡献？本文将为……奶粉伴侣会增加孩子过敏风险吗现在市面上有一种新奇的去火产品，叫奶粉伴侣，是给婴幼儿吃的，宣称其跟奶粉一起吃，宝宝就不会有上火的情况。那么奶粉伴侣会增加孩子过敏风险吗？下面就一起随本站小编来了解一下吧。……废旧物资回收加工如何做我国自然物资回收人均拥有量低于世界平均水平，物资回收、环境与经济发展的矛盾长期存在。提高自然物资回收利用效率，是实现我国经济可持续发展的必然选择，那么废旧物资回收加工如何做呢？……