查看: 3320|回复: 0

KXEN数据分析理念

字体大小: 正常放大

seawolff

5 主题	3 听众	26 积分

升级 22.11%

该用户从未签到

电梯直达

1^#

发表于 2007-6-12 20:01 |只看该作者 |倒序浏览

|招呼Ta 关注Ta

<h4 class="TextColor1" id="subjcns!A20FD7ACCE991E94!376" style="MARGIN-BOTTOM: 0px;"></h4><div class="bvMsg" id="msgcns!A20FD7ACCE991E94!376"><div>    下面是我翻译的一篇来自KXEN网站的白皮书：《KXEN Data Analysis Philosophy》，KXEN分析框架完全地贯彻了这个理念,这是非常不错的一篇文章,我认为这个理念代表了以后BI领域数据挖掘工具的发展方向。
      KXEN的用户群是商业决策者和集成商。对于前者，要求数据挖掘过程的自动化和结果的可解释性（商业语言）；对于后者，要求可嵌入性。而本文就是详细来阐述这两点的(译者注)。
关于此文
    一些人可能会问（也曾经问过）KXEN在一般的数据分析尤其是数据挖掘方面的特别之处。此文的目的不是深入到数学和架构之中来解释KXEN和另外的数据挖掘工具的不同，而是解释我们创造KXEN的理念。
    此文的首要对象是在寻找预测性分析工具和技术的决策者，您们已经知晓了几个数据挖掘工具。此文帮助您了解KXEN同其它传统的数据挖掘解决方案的不同之处，理解KXEN怎样帮助您变革您的数据挖掘方法，同时，从最先进的数学和机器学习中进行企业利润的最大化。
KXEN是面向结果的
    理解KXEN的定位，最重要的一点是记住：KXEN是面向结果，而不是面向方法的，在实际当中，这意味着什么呢？
    这意味着：在一些情况下，多快好省的结果比慢的、难以得到和过分完美结果更为有用。为了使数据分析过程自动化，KXEN已经发展了一些独特的技术。在开始KXEN旅程之前，你需要知道的仅仅是您的数据和您想分析的问题（不需要专业的统计学背景和机器学习的理论）：你的问题是一个预测性还是一个描述性的分析问题（更技术化的术语：您的问题是一个分类，回归还是一个聚类的问题）？对于每种问题，KXEN都提供一种简单的解决方案，不需要您的特殊的分析技能。
为什么KXEN没有决策树，神经网络和另外的技术？
    有一些人跟本文的观点完全相反。他们喜欢用涵盖尽可能多的算法的工具。他们会说：“既然没有一个方法能够解决所有问题，那么我们必须使用所有的方法（才能找到做好）。你们（KXEN）懂啥呀？”
    在一定程度上，KXEN团队赞成这个观点。KXEN的设计者也曾经年轻，在创造KXEN之前和这个领域的其它人都一样，都在寻找数据挖掘领域的圣杯：即在所有的数据集中打败所有其它算法的“东方不败”。而如今，我们不再是小孩子了，我们也改变了这个观点。随着近来在数学（不是统计学）上的进步，我们有了重要的收获：
完全自动化的建模，几乎所有的（不是所有的）情况下都能得到好的（不是最佳的）结果。
当设计KXEN时，我们不是寻找完美的算法，我们是寻找一种自动化处理所有的数据，得到好的结果的算法：两者是非常不同的，在我们的方向上我们认为已经得到了很好的成绩。
把一个数据集尝试所有的方法的倡导者不能解释为何有的算法失效。可能是因为一个建模技术和另一种技术不犯同样的错误，或者因为这个算法只是对于一个特殊的问题的优化，或者因为它能够处理一类问题而不是另一类。因此，如果你烧了高香，或者是你的数据集瞎猫碰了死耗子，你将得到好的结果，如果不是，你纯粹是浪费青春。天呀，你还受得了这些吗（还不如去泡吧，译者注）？
是的，对于精通所有算法（即使如此，其中一些算法也难于设置参数，譬如神经网络）的GG们，对于有银子能够买许多CPU和内存的大款们，他们可以叫嚣：大爷我试遍了所有的算法，我找到了最牛逼的！（顺便泼一瓢冷水：找到最好的总不容易呀，你发现过最漂亮的MM了吗？译者注）
近来，在数学和机器学习领域取得了长足的进步。Vladimir Vapnik是其中的大牛，他有其独门武器：统计学习理论。他打开了一扇门，独辟幽径，通过分析机器学习带来的误差（搞过最优化的DD们都知道的，译者注），来解析误差的结构，提出了非常有趣的概念，这可以用来构造建模技术。这个特殊的概念普照天下，它不是试遍所有算法，它指明了一个方向，然后在这个方向上搜寻和比较算法的优劣。说到这里，DD们沉不住气了：“这他妈的不是一回事吗，我仍然需要尝试和比较算法呀。”
不，作为KXEN的设计者，我们有是数学功底的，我们知道自己吃几碗干饭。我们能够驱动“源算法”（meta-algorithms）来自动搜索（指参数优化，译者注），KXEN分析框架的所有过程都用了这种技术。事实上，我们用这种技术10多年了，证实KXEN的算法是可靠的，虽然并不完美（因为要考虑速度问题，可解释性，所以必须在性能上加以妥协）。
建立一些模型，进行性能比较，这些模型可不是随便搞的，它用Vapnik的结构风险最小化来扫描不同的模型集。我们使用了稳健的方式，在最好的拟合性和稳健性（准确性和泛化性）间进行平衡，选取最好的模型（说成商业语言咋就这么玄乎呢，译者注）。
KXEN的算法是独此一家吗
专家们都知道，在预测性分析中，算法是重要的，但是，问题的关键是让数据和算法相容。一些算法仅仅对字符型适用，另外一些仅对数值型适用。有经验的人都会告诉你：必须花费一些时间进行数据准备和数据编码。
实际中，这意味着一些烦杂的事情，像处理缺失值，奇异值，对数据进行编码，以适合不同的算法。（此处省略费解的字数数十个，译者注）KXEN怎样来解决这个问题？我们的设计者不是穿开档裤的小屁孩了，一些猴精的人对于KXEN贡献很大，在实际进行预测性和描述性的分析中运用了他们的学术知识和经验。我们自动化处理缺失值，奇异值，自动化编码过程。
数据准备包含两步：一是“数据操作”，行业专家选择或者生成一些属性（变量，列），这些属性是符合商业需要的。例如，没有任何自动的系统能够告诉你本月的上一个星期五是预测银行间的资金流的好的指标。第二步是优化编码属性以适合算法。
KXEN用VAPNIK的统计学习理论创立了原算法，为了寻求对于分类，回归，聚类问题的简单的解决方法，它通过模型竞争来进行最优模型自动搜索。
KXEN的目标是确信，一旦行业专家选择了问题的描述，KXEN就会自动化编码这些信息，最大化的为商业问题抽取可解释的信息。
第二个关键是结果的可解释性。KXEN的所有组件的设计都使之对最终用户呈现有意义的结果，在这里，我的意思不是说画一个3D的柱状图，我是指图形所显示的内容，譬如变量的贡献、变量各个BIN的重要性排名、模型质量、模型稳健性指标。这样说来有点古怪，但是非常明智，对于非统计学专家来说这些结果非常重要（事实上指商业用户，译者注）。在KXEN中，为了达到这个目标我们运用了领域的经验。

为何KXEN不做应用型工具
    预测性和描述性分析本身不能赚钱，我们必须把这些模型部署到企业的操作环境（指企业级应用系统及工具，譬如一些CRM，EIS系统，译者注）中，并且基于这些模型进行行动。在应用模型之前，必须要训练模型，因此，预测性和描述性分析是整个过程的一部分。仅仅一个工具是不够的，必须提供能够整合到操作系统中的组件。
这需要：
清晰简明的API
能够整合到任何用户界面的能力
不需要处理过程的数据临时和永久的备份
把模型部署到企业操作环境中的能力
KXEN已经做到这些，不仅由API提供实时的仿真服务，而且模型能够输出为不同的程序语言：譬如，如果你想在蜂窝电话中整合进一个欺诈分析的模型，可以创建模型的JAVA代码（JAVA代码包含所有的变量在得分创建之前的预处理和编码，概率或者类别）；如果想把模型应用在数据库系统中，可以创建SQL或者

MML代码，这些可以直接由数据库来解释，数据不用转出数据库，可以运用数据库底层的处理能力。如果想创建一个WEB的信息环境，可以生成JAVA SCRIPT，适用于所有的浏览器。第三点是KXEN结构上的一点限制，在KXEN中，我们特别的设计使得不把数据拷贝到临时的存储空间，虽然这样做可能导致数据的多次扫描。但是，KXEN引擎处理数据速度是非常快的。KXEN的IP不仅仅在于算法，也在于算法的应用过程，譬如，数据的自动化预处理，对结果的解释。
关于用户界面这个问题也是非常重要的。一些人声称他们的用户界面非常好，花里胡俏。一定程度上这是正确的，但是，如果需要一个统计学的博士来设置参数值，这样界面好看又有什么用呢？在这点上，界面的友好仅对少数能够用这个工具的人来说是有用的。我们必须承认，数据挖掘在商业领域的大范围的应用目前来说是失败的。在我们看来，数据挖掘要有大范围应用的机会，只有嵌入到商业流程当中才可以。通过KXEN的高度的自动化，商业用户能够迅速的，轻松的得到问题的答案。
既然让商业用户应用数据挖掘的唯一方法是把预测性和描述性的分析整合到企业级操作环境中，那么，下一个问题是：
“你们KXEN的技术既然这么牛逼，为何你们不做一个譬如CRM（客户关系管理）？”
答案非常简单，我们深知这些领域高手如云，门槛之高，因此，我们宁愿选择这些垂直市场中找一些合作伙伴。当然，这也与我们的理念相匹配：自力更生，为客户提供优质服务。
    最后一个问题是回答我们的一些潜在的合作伙伴：
“为何我们非得嵌入KXEN的技术，而不是使用松散的连接其它工具的技术呢？”
答案如下：运作经验告诉我们，用预测性和描述性分析不是简单的建立模型。首先，全部的分析过程需要反复地在商业逻辑（由操作环境提供）和模型功能（由分析组件提供）间来回。第二，当数据随时间而改变时，用户必须保持监控模型的性能。KXEN在API当中包括模型的管理设置，可以自动检测输入数据的分布偏差。
    你们的模型是否是完美的?
答案是No，但是KXEN将更实际的自动、轻松、快速地找到现实的答案！因此，解决方案不是把数据扔给外部的用户界面去建立模型，而是能够：
无缝的在商业过程中整合模型
从操作环境中检测偏差
发布模型的再次训练
实时的成批的灵活部署模型，建立可操作的用户界面，能够操作我们的模型
预测性分析是操作过程的一部分，它可以用在实时变化的环境。KXEN是基于组件的结构，可以嵌入在企业操作系统中，不仅仅监控一个模型的生命周期，而且能够管理它。这不是通过和一个普通的预测分析型工具简单连接所能够做到的。</div></div>

zan