技术详细介绍
并行大数据挖掘工具箱-DODO
DoDo工具箱研究并解决基于云计算平台的数据挖掘任务的重大关键问题，并同时实现基于云计算的大数据挖掘关键技术及应用平台，并行大数据挖掘工具箱-DODO的关键技术和创新点有四个：为Hadoop系统提供图形化界面，对大数据算法开发人员屏蔽底层的Hadoop系统命令系统细节，使得他们可以专注于大数据的处理，并且通过数据可视化扩展模块让开发人员更加方便的通过图形化的方式观测数据；为大数据建立元数据管理系统，大数据处理是以数据为核心的，而海量数据管理和传统数据管理又有很大的不同，本工具箱针对大数据的特性，提供基于xml文件的元数据和实体数据的结构化管理方式，从而用户可以方便的对数据进行查询等相关操作；本工具箱针对大数据处理并行化的需求，对常用的数据挖掘算法进行了并行化；本工具箱应用MVC变成架构开发，软件具有良好的模块化特征，具有良好的可扩展性和可维护性。Hadoop是成熟的大数据处理系统，而并行大数据挖掘工具箱-DODO的作为大数据处理和算法开发平台也具有良好的普适性，所以可以无缝的和很多具有大数据处理需求的业务相融合。