[00274590]一种面向HDFS的网络报文并行读取方法
交易价格：
面议
所属行业：
通信
类型：
发明专利
技术成熟度：
正在研发
专利所属地：中国
专利号：CN201610353612.8
交易方式：
技术转让
技术转让
技术入股
联系人：
南京大学
进入空间
所在地：江苏南京市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明提供一种面向HDFS的网络报文并行读取方法，包括网络数据捕获与pcap报文解析两个阶段。本方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS，将捕获的网络数据包写入HDFS，并通过本发明实现的二进制pcap流解析方法将pcap报文并行的解析出来，形成key‑value对然后交由MapReduce框架进行分析处理。通过本发明中的方法大大提高了HDFS下pcap格式文件的并行读取能力，进而提高了后续网络数据包的并行分析与处理效率。
本发明提供一种面向HDFS的网络报文并行读取方法，包括网络数据捕获与pcap报文解析两个阶段。本方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS，将捕获的网络数据包写入HDFS，并通过本发明实现的二进制pcap流解析方法将pcap报文并行的解析出来，形成key‑value对然后交由MapReduce框架进行分析处理。通过本发明中的方法大大提高了HDFS下pcap格式文件的并行读取能力，进而提高了后续网络数据包的并行分析与处理效率。
