高速网络环境下的分布式大型文件分发系统中调度子系统的设计与实

  随着科学技术的发展,科学计算和生产,以及人们生活,娱乐对于高速网络环境下大规模的数据分发的要求日益提高.传统的基于c/s模型的分发方法,如http,ftp等服务,由于其固有的限制,不可能从根本上解决服务器端的带宽和计算能力瓶颈问题;现有的基于p2p模型的各种数据分发方法,则存在着性能不好,可靠性差,安全性差等诸多严重的问题,难以胜任真实的,严肃的科学研究实践.

  为了解决这些问题,我们设计了一套全新的,基于p2p模型的,用于高速网络环境中分发大型文件的分布式文件分发系统.这套系统希望能够通过科学,合理的设计来消除现有p2p系统中存在的诸多问题,汲取c/s模型和p2p模型中的优点,并能够胜任较大规模的数据分发任务的需要.

  调度的好坏是决定一个系统能否有效地运转的重要因素.对于我们正在设计的这套系统来说,其调度子系统不仅需要合理地处理来自本地的各种调度请求,还需要与网络上的其他节点配合,以期在整个网络的全局范围内,达到最佳的执行效率;通过有效而合理地安排任务执行和请求的先后次序,调度子系统不仅要在本地达到充分利用网络带宽和磁盘高速缓存等资源,而且,以全局的观点看,它还需要实现整个网络范围内的负载平衡和故障转移,在保证数据正确传输的前提下,尽可能地缩短整体的响应时间,以期提高传输效率,并合理地利用网络带宽和计算资源.

  正确地设计调度子系统需要对现有的基于单处理器,多处理器,numa等不同体系结构下的调度器进行深入的了解,以及对于前人在这一方面研究成果的深入理解和认识.除此之外,需要建立一系列可实现的评估模型,以便让计算机能够有效地完成调度任务.

  调度算法中可能会涉及一些np-完全问题,因此,调度器的实现中很可能会不可避免地选择一些折衷的算法以给出这些问题的近似解.如何在这些近似的算法中选出最合理的那些,同样需要设计正确的评估模型,并进行试验和论证.

  二、注意要点:

  系统整体设计中要充分考虑性能,可伸缩性,可靠性和安全性,并在设计中予以体现.

  建立并选取可能的评估模型,对于系统的执行给出合理的论证,并确保选定的评估模型的可实现性和正确性.

  作为系统的核心部件,调度子系统的实现必须正确.调度子系统在设计时,同时实现对应的单元测试代码,并使用这些代码对调度子系统进行压力测试.

  使用c++语言进行开发.为了保证系统整体的可移植性,这部分的实现必须完全符合c++98以及posix等相关规范.

  系统的编码过程必须规范,通过合理地使用版本控制,确保软件的质量.

  总结测试数据,撰写毕业设计论文

  三、时间安排:(xx-02-10 – xx-05-30)

  2.10---3.25 阅读相关文献,设计系统的整体架构,编写架构文档并实现初步的原型.(占全部时间的大约40%)

  3.26---4.27 精细的原型实现,这一阶段调度子系统和其他子系统的每日构建和联调应能够正确通过.(占全部时间的大约30%)

  4.28---5.19 系统的稳定化和测试,撰写《毕业设计论文》.这一阶段,整个系统的每日构建和联调必须能够正确通过.(占全部时间的大约20%)

  5.20---5.30 总结毕业设计中出现过的问题,完成《毕业设计论文》.这一阶段,整个系统应能够正确运行.(占全部时间的大约10%)

  四、参考文献:

  "distributed systems: concepts and design (3rd edition)" george coulouris, et al, xx. (isbn: 0201619180)

  the design and implementation of the 4.4 bsd operating system, mckusick, et al, 1996. (isbn: 0201549794)

  the art of computer programming, volume 1 and 3, donald e. knuth, 1997, 1998(isbn 0-201-89683-4, isbn 0-201-89685-0)

  the darknet and the future of content distribution, peter biddle, et al, xx ttp://crypto.stanford.edu/drmxx/darknet5.doc]

  随着科学技术的发展,科学计算和生产,以及人们生活,娱乐对于高速网络环境下大规模的数据分发的要求日益提高.传统的基于c/s模型的分发方法,如http,ftp等服务,由于其固有的限制,不可能从根本上解决服务器端的带宽和计算能力瓶颈问题;现有的基于p2p模型的各种数据分发方法,则存在着性能不好,可靠性差,安全性差等诸多严重的问题,难以胜任真实的,严肃的科学研究实践.

  为了解决这些问题,我们设计了一套全新的,基于p2p模型的,用于高速网络环境中分发大型文件的分布式文件分发系统.这套系统希望能够通过科学,合理的设计来消除现有p2p系统中存在的诸多问题,汲取c/s模型和p2p模型中的优点,并能够胜任较大规模的数据分发任务的需要.

  调度的好坏是决定一个系统能否有效地运转的重要因素.对于我们正在设计的这套系统来说,其调度子系统不仅需要合理地处理来自本地的各种调度请求,还需要与网络上的其他节点配合,以期在整个网络的全局范围内,达到最佳的执行效率;通过有效而合理地安排任务执行和请求的先后次序,调度子系统不仅要在本地达到充分利用网络带宽和磁盘高速缓存等资源,而且,以全局的观点看,它还需要实现整个网络范围内的负载平衡和故障转移,在保证数据正确传输的前提下,尽可能地缩短整体的响应时间,以期提高传输效率,并合理地利用网络带宽和计算资源.

  正确地设计调度子系统需要对现有的基于单处理器,多处理器,numa等不同体系结构下的调度器进行深入的了解,以及对于前人在这一方面研究成果的深入理解和认识.除此之外,需要建立一系列可实现的评估模型,以便让计算机能够有效地完成调度任务.

  调度算法中可能会涉及一些np-完全问题,因此,调度器的实现中很可能会不可避免地选择一些折衷的算法以给出这些问题的近似解.如何在这些近似的算法中选出最合理的那些,同样需要设计正确的评估模型,并进行试验和论证.

  二、注意要点:

  系统整体设计中要充分考虑性能,可伸缩性,可靠性和安全性,并在设计中予以体现.

  建立并选取可能的评估模型,对于系统的执行给出合理的论证,并确保选定的评估模型的可实现性和正确性.

  作为系统的核心部件,调度子系统的实现必须正确.调度子系统在设计时,同时实现对应的单元测试代码,并使用这些代码对调度子系统进行压力测试.

  使用c++语言进行开发.为了保证系统整体的可移植性,这部分的实现必须完全符合c++98以及posix等相关规范.

  系统的编码过程必须规范,通过合理地使用版本控制,确保软件的质量.

  总结测试数据,撰写毕业设计论文

  三、时间安排:(xx-02-10 – xx-05-30)

  2.10---3.25 阅读相关文献,设计系统的整体架构,编写架构文档并实现初步的原型.(占全部时间的大约40%)

  3.26---4.27 精细的原型实现,这一阶段调度子系统和其他子系统的每日构建和联调应能够正确通过.(占全部时间的大约30%)

  4.28---5.19 系统的稳定化和测试,撰写《毕业设计论文》.这一阶段,整个系统的每日构建和联调必须能够正确通过.(占全部时间的大约20%)

  5.20---5.30 总结毕业设计中出现过的问题,完成《毕业设计论文》.这一阶段,整个系统应能够正确运行.(占全部时间的大约10%)

  四、参考文献:

  "distributed systems: concepts and design (3rd edition)" george coulouris, et al, xx. (isbn: 0201619180)

  the design and implementation of the 4.4 bsd operating system, mckusick, et al, 1996. (isbn: 0201549794)

  the art of computer programming, volume 1 and 3, donald e. knuth, 1997, 1998(isbn 0-201-89683-4, isbn 0-201-89685-0)

  the darknet and the future of content distribution, peter biddle, et al, xx ttp://crypto.stanford.edu/drmxx/darknet5.doc]


相关内容

  • 高性能计算系统设计方案
  • 高性能计算系统 方案设计 第1章 需求分析 1.1 高性能计算的和大规模数据处理的应用 高性能计算作为一种先进的科研手段,在国内的应用发展很快,得到了普遍的重视,近年来国家投入逐年加大. 高性能计算的应用条件已经成熟,表现在: ◆ 价格相对低廉的高性能机群系统为高性能计算应用提供了物质基础: ◆ 高 ...

  • 综合视频监控安保系统
  • 一.综合视频监控安保系统概述 1.1 项目背景 中国移动国际信息中心是中国移动公司建设的融合IT 支撑.研发.交流为一体的生产研发基地,基地"服务全国,辐射全球",将发展成为IT 网络支撑.产品研发.产业集群推进.合作交流"四大中心",全面服务于中国移动集中化 ...

  • 移动通信概述
  • JIANGXINORMALUNIVERSITY 移动通信论文 姓名:学号:指导老师: 学院: 物理与通信电子学院 专业: 通信工程 目录 摘要 --------------------------------3 1. 概述 -------------------------------3 移动通信的 ...

  • 电子商务平台方案
  • 中科软科技股份有限公司 电子商务平台 一个集传统商城.手机商城.微信商城为一体的综合平台 支持单店铺.店中店模式 中科软科技股份有限公司 二零一四年六月 目录 1 概述.................................................................. ...

  • 公安交通集成指挥平台技术实施方案
  • 公安交通集成指挥平台技术实施方案 为贯彻落实 <全国主干公路交通安全防控体系三年规划>, 根据<公安交通集成指挥平台建设指导意见>要求, 组织编写技术实施方案, 以指导各地开展公安交通集成指挥平台建设工作. 一.总体要求 (一)指导思想 以维护公路通行秩序.保障公路畅通.有效 ...

  • 毕业设计论文_酒店网络规划
  • 目 录 摘 要 ...................................................................................................................................... I ABSTR ...

  • 浙江大华宾馆监控解决方案
  • 宾馆监控系统技术方案 | 技术文件| 设备清单| 1 目录 1 2 目录 ................................................................................................................. ...

  • 视频会议方案
  • 视频会议系统项目 技术方案 目 录 1 技术方案 . ........................................................................................................................... ...

  • 2016系统集成项目经理继续教育推荐课程5题库
  • 项目经理考试-推荐课程5真题和答案 一.单选 1.通过对应用软件的运行记录.运行趋势进行分析,根据应用系统的特点和运行需求,提出处理或改进的建议和方案.这属于对应用软件的哪项运维服务内容?C (P92) A.例行操作 B 响应支持 C调研评估 D优化改善 2.交付管理采用的基本方法是?C A 质量控 ...