[00275514]一种基于Flink的大规模矩阵并行化的计算方法
交易价格：
面议
所属行业：
分析仪器
类型：
发明专利
技术成熟度：
正在研发
专利所属地：中国
专利号：CN201510764595.2
交易方式：
技术转让
技术转让
技术入股
联系人：
南京大学
进入空间
所在地：江苏南京市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种基于Flink的大规模矩阵并行化的计算方法，主要包括以下步骤：利用FlinkDataSet对大规模矩阵数据进行存储，在单个计算机上对矩阵进行计算时采用BLAS对矩阵计算进行加速；设计并实现了矩阵的相加、相减等一系列矩阵操作；设计了并行化的方案并结合Flink和算法的特点设计了三种优化手段提升不同形状的矩阵相乘运算的性能，包括：基于方块划分方式的矩阵分块相乘、基于CARMA划分方式的矩阵分块相乘和基于广播方式的矩阵分块相乘。本发明解决了传统单个计算机情形下大规模矩阵计算开销大甚至无法计算的问题，具有很好地扩展性。
本发明公开了一种基于Flink的大规模矩阵并行化的计算方法，主要包括以下步骤：利用FlinkDataSet对大规模矩阵数据进行存储，在单个计算机上对矩阵进行计算时采用BLAS对矩阵计算进行加速；设计并实现了矩阵的相加、相减等一系列矩阵操作；设计了并行化的方案并结合Flink和算法的特点设计了三种优化手段提升不同形状的矩阵相乘运算的性能，包括：基于方块划分方式的矩阵分块相乘、基于CARMA划分方式的矩阵分块相乘和基于广播方式的矩阵分块相乘。本发明解决了传统单个计算机情形下大规模矩阵计算开销大甚至无法计算的问题，具有很好地扩展性。
