基于Hadoop的信息流推荐系统设计与实现开题报告

Posted 2021-06-14 ouyangxiaobai

下载地址：https://download.csdn.net/download/qq_31293575/18338145

一、研究或设计的目的和意义： 因为高速发展的信息技术和不断壮大的教育规模，使得高校行政办公室和教学活动产生大量数据资源，各类文件、课本和其他信息的分享和交流越发频繁。电子线路、多媒体资料等需要经常使用。移动存储设备通常用于数据存储，但使用方式不便和难以分享。电子邮件使用方便，但不适合存储和传输大型文件。网络邻居和其他局域网共享方法受到局域网的限制，不能满足大部分用户的需求。相对强大的FTP文件传输功能，由于过于简陋的操作界面，一些用户在操作时不太方便。因此，如何在方便、安全、低成本的前提下，为用户提供高可靠性、高容量的网络存储服务，成为信息化建设的重要课题。于是，网盘就此诞生。随着存储技术的发展，传统的网盘技术已经变得不能满足现实需求。存在传输速率慢、数据丢失难以找回、安全性差和运营成本高等瓶颈。近年来，流行的云存储技术促进了互联网磁盘行业的发展，如百度云、腾讯微云等。云计算架构的分布式存储技术结合了超大容量、高可扩展性、低成本的特点，可以利用其技术管理当前海量数据，减少存储成本，提高可靠性。它将网络中大量不同类型的存储设备组成一个安全的数据存储系统，适用于大中型企业和用户的数据存储、备份、归档等要求。虽然业界提供了大量云存储服务相关产品，但由于大部分云存储服务都是商业产品，用于企业网络和校园网的信息化建设、数据安全和价格问题都是存在的。因此，利用Hadoop的分布式存储技术开发一个高效、可靠、安全、低成本的个人网盘系统，对海量数据进行管理，具有十分重要的意义。

二、研究或设计的国内外现状和发展趋势： 当今移动互联网浪潮的到来，人们在任何时间、任何地点都可以学习、娱乐和工作。人们一直在制作视频、音频、照片和其他文件等。同时，他们迫切需要随时访问、编辑和保存这些信息数据。正好网盘的出现就可以帮助用户轻松、快速地存储和调用这些文件。 Netdisk网盘推出时间比较早，满足了用户收集一些资料的需求，处理了大文件发送的问题，但是Netdisk网盘运作起来需要一点的硬件设备，同时带宽要求比较高，这样增加了相应的成本。目前，我国的网络磁盘主要分为两类，一种是娱乐资源的类型，另一种是以网络存储为重点的应用类型。从互联网发展的角度来看，许多网络磁盘都在自由使用的旗帜下运行，但随着用户数量的增加和互联网原有的速度，许多运营商的发展有点尴尬。 近年来，随着云计算和云存储技术研究浪潮的兴起，网络产业经历了一场革命。互联网行业巨头腾讯、金山、百度、360等都涉足了网络磁盘行业，甚至打了一场激烈的营销战，各互联网行业巨头突然“捏”了起来。首先金山快盘直接提供100GB容量。随后360宣称通过完成几个简单的小任务就可以拥有360GB的容量。然后百度声称花费1元就能获得1T永久容量。历来强势的360，它直接给用户1T的永久免费容量。即使是传统的华为也不愿意落后，直接公布了令人惊叹的“无限空间”结束了这场无尽的混战。 各大互联网巨头正在努力打造自己的网络存储平台，为用户提供下载、共享、支付、社交等多种常用服务，打造一个庞大的帝国。 在国外，微软、Google和苹果都做出了反应，把网盘整合到自己的账号生态系统中[4]。在国内，金山依靠办公，腾讯依靠QQ和微信，迅雷依靠下载，360依靠安全软件和安全浏览器，不断拓展自己的领域，形成自己的平台。这些巨头公司都想搭生态、做循环、留住用户、圈住开发者，那么网盘就是其中很重要的一个基础建设项目，自然成兵家必争之地。 网盘的发展在后期阶段，随着国内网络速度的提高，互联网用户的网盘使用率提升，再把网盘的速度和安全性提升上来，打造独特的个性云服务，网盘的发展会变得更好。

三、主要研究或设计内容，需要解决的关键问题和思路： 1  设计内容简介 网盘系统后台是基于Web的应用程序，采用B/S系统架构。前后台以Json数据来交互。前台页面在用户的操作下产生数据用Ajax异步交互技术发送Json数据到后台，后台Java程序访问数据库或Hadoop文件系统，处理完后再返回结果Json给前台javascript处理，处理后更新界面。在这种模式下，用户再使用时不需刷新整个界面而是由Javascript局部刷新页面，能用户良好的体验。现在用户计算机的性能逐渐提升，把一部分逻辑交给前台JS处理，服务器只返回较简单的Json数据。这样既可以减轻服务器的压力，又可以减少网络传输的数据量，利用了用户计算机的空闲的处理能力，在给用户良好体验的同时也大大提升了系统性能。 2  设计内容 个人网盘系统提供用户文件上传、下载、分享、新建文件夹等功能，具体分为：用户管理模块、文件展示模块、文件操作模块、文件夹操作模块、文件归纳模块和文件分享池模块6个模块。 2.1  用户管理模块 该模块是系统的前置模块，主要负责用户的登录、注册和注销。用户通过浏览器输入用户名和密码后，单击“登录”按钮将数据提交到服务器，服务器将与数据库中的信息匹配，当用户名和密码错误时，系统将提示用户输入正确的用户名和密码，但是，当用户输入用户名不存在时，系统会提醒用户名不存在，用户可以通过注册成为系统的用户。一旦登录用户和注册用户成功后，方可使用系统的其他模块。同时，如果用户想退出系统，用户可以通过注销退出系统。 2.2  文件展示模块 文件展示模块是用户进入系统主界面最直观的模块，也是系统最主要的模块之一。该模块主要负责的是展示用户网盘的文件和文件夹。用户最开始进入系统主界面的时候，该模块展示的是网盘根目录下的文件和文件夹。展示文件时有文件的文件名、大小和上传时间。同时，也在对应的位置提供了相应的功能按钮，如下载、分享、删除等。为了方便用户使用体验，在该模块还提供了文件显示的数量、文件分页、文件搜索和文件排序等功能。 2.3  文件操作模块 该模块主要负责文件上传、下载、分享和删除等功能。用户在上传文件时，上传的文件会保存到相应的目录中去，之后会刷新文件展示模块中的信息。另外，文件删除会刷新文件显示模块中的信息，用户下载文件只需点击下载按钮就可以实现，用户对文件进行共享时，会将文件共享到公共资源中，用户可以在我的共享和公共资源中查看共享文件。 2.4  文件夹操作模块 文件夹操作最直接的功能就是用户可以在指定的目录下新建文件夹。通过新建文件夹，可以实现网盘文件的归纳整理。模块还实现切换文件夹的功能，用户可以通过切换文件夹展示不同目录下的文件内容。同时，该模块还提供了文件夹删除功能，用户可以直接删除文件夹里的所有内容。 2.5  文件归纳模块 用户自己除了通过新建文件夹来整理网盘文件外，还可以操作文件归纳模块的功能来整理文件。该模块主要的是负责归纳不同类型的文件，如：文档、图片、音乐和视频等，这些类型的文件都会展示出来。结合文件展示模块里的排序和搜索功能，用户可以快速的找到自己需要的文件。 2.6  文件分享池模块 文件分享池模块包括我的分享和公共资源这两个页面。所有用户分享的文件都可以在公共资源页面中看见，并可以在公共资源中下载所有的分享文件。而不同的用户可以在我的分享页面中看见自己已经分享的文件。

四、完成毕业设计（论文）所必须具备的工作条件及解决的办法： 1  技术条件及解决的办法 个人网盘系统使用Java和php进行开发，所使用的集成开发工具是Eclipse和PhpStrom，Web应用服务器是Tmocat和WampServer，数据库使用是mysql数据库。Java和PHP都是开源技术，再加上它们应用领域广泛和功能齐全的特点，使得许多开发者对它们进行研究，许多论坛或博客可以对系统的开发提供技术参考和借鉴。MySQL数据库在编写上采用的是标准的SQL语句，对数据的管理上十分方便，并且MySQL拥有许多可视化工具，如PhpMyadmin，使管理更加容易。而对于Hadoop集群和HDFS使用，因技术十分成熟，在搭建和使用也很简单。 上述这些技术在学校期间都有学习和使用经验，所以系统在技术方面是可行的。 2  经济条件及解决的办法 个人网盘系统是一个相对小型的Web应用系统，系统实现方式不会过于复杂，实用性方面很强，而且对系统地开发和维护不需要大量的人手，对于系统只需要投入少量的人力资源。 基于 Hadoop的个人网盘系统的技术，如MySQL 数据库、Hadoop和HDFS接口等， 这些技术都是免费和开源的, 没有版权限制和价格的问题。Hadoop集群的搭建对主机的硬件要求不高，普通主机在数据处理中就能充分利用Hadoop的优势。该系统是在 Java 和PHP中开发的，系统使用到的集成开发工具和Web应用服务器都是对所有用户免费的，不需要在经济方面上花费过多经济,所以系统在经济方面是可行的。 3  操作条件及解决的办法 个人网盘系统是一个B/S架构的Web应用，通过浏览器输入地址就可以使用个人网盘。个人网盘的主界面简洁，操作起来非常简略，用户使用起来没有什么困难，因此系统在操作方面是可行的。

五、工作的主要阶段、进度与时间安排： 第一周至第三周：收集资料，对课题进行调研，进行文献综述/需求分析的写作；完成开题报告,确定毕业论文提纲； 第四周至第六周：主要对毕业设计进行设计、写代码，调试，论文资料进行补充，完成论文第一稿并上交指导老师； 第七周至第九周：，根据指导老师的反馈意见修改论文，完成论文第二稿并上交指导老师； 第十周：根据指导老师的反馈意见修改论文，完成定稿及对毕业论文内容的修饰润色，调整论文格式、定稿、打印装订、上交。

六、阅读的主要参考文献及资料名称： [1] 许婧. 基于云存储的图片管理系统移动端的设计与实现[D]. 北京交通大学, 2018. [2] 任硕果. 一种基于云存储的android网盘的设计与实现[J]. 无线互联科技. 2016(21): 29-30. [3] 冯智德. 基于企业云存储系统的应用接入技术研究与实现[D]. 华南理工大学, 2016. [4] 谢金星. 基于云存储的网盘系统设计与实现[D]. 湖南大学, 2016. [5] 许根锡. Weblib企业级网盘客户端的设计与实现[D]. 华南理工大学, 2016. [6] 高正九. 基于HDFS的云存储系统的设计与实现[D]. 中国科学技术大学,  2014. [7] 徐应全. 基于samba文件系统的云网盘设计与实现[D]. 电子科技大学, 2014. [8] 王远. 基于MFS的校园安全同步网盘设计与实现[D]. 国防科学技术大学, 2013. [9] 林由清. 基于分布式存储的在线网盘系统的设计与实现[D]. 杭州电子科技大学, 2013. [10]周可,王桦,李春花. 云存储技术及其应用[J]. 中兴通讯技术,2010. [11]王峰,江峰,李朝阳. 虚拟桌面及关键技术分析[J]. 电信技术,2011. [12]李新宇. 网络云盘介绍--以360云盘和百度云为例[J]. 无线互联科技,2014. [13]贺博,王欣. 个人云存储市场发展状况分析[J]. 现代电信科技,2012.

七、指导教师意见和建议： 江成达同学对毕业设计的开题做了比较充足的前期准备，通过与课题组成员和老师充分讨论，参考了许多文献，确定了具有研究意义的课题，从而对论文研究的内容有了初步了解。本设计的研究方法和研究步骤基本合理，难度适中，本选题是学生所学专业知识的延续，符合学生专业发展方向，对于提高学生的基本知识和技能以及钻研能力有益。该生能够在预定时间内完成毕业设计。 设计的选题立意明确，结构合理，内容充实，研究方法准确。该生对待毕业设计的撰写态度认真严谨，有较高的积极性和对知识的钻研态度较好，相信其能够顺利完成本设计并撰写出达到学士学位论文要求的毕业论文。 同意江成达同学毕业设计开题。