外语教师远程教育论文提纲

论文题目：WEB数据采集及监控系统的研究及实现

摘要：广东教师研修网是由广东省外语艺术职业学院主办的远程继续教育网站。网站的课程开发由广东外语艺术职业学院和广东教师研修网共同负责，由省内学科首席专家和省内外有关专家教授、一线教师或教研员组成课程开发团队。 现代远程教育是伴随着现代信息技术的发展而产生的一种新型教育方式。学员可在家中，任职学校或当地教师进修学校，通过播放视频专题、阅读拓展资料、完成课堂作业。参加在线讨论研修，共同开展课例评析和教学研究，在课程支持团队的引导与支持下开展培训课程的学习。 因此，远程教育网站除了由课程开发团队开发的主要课程之外，还需要大量的学习资源和教育讯息提供给学员进行学习和参考。万维网是一个巨大的信息资源库，有大量相关数据可以加以利用，但是普通的搜索引擎所提供的信息检索服务却无法满足对个性化服务的需要。因此，面向特色服务的WEB数据采集系统的研究具有重要意义。 基于此目的，本论文分析了网页数据采集及监控系统的功能需求，研究了Http、Ftp、Smtp网络协议，并结合Quartz作业调度框架技术，实现了对数据自动采集、自动归类、远程同步、采集结果汇报等全程无人值守监控。系统采用J2EE软件技术架构，基于MVC模型进行开发。最终将整合成研修网中一个面向网站维护人员的Web应用，让用户可以直接在Web界面上配置监控属性，真正达到我们的总目标，即实现一个面向主题的且富有用户个性化体验的自动化采集及监控一体化管理系统。

关键词：远程教育;数据采集;SSH;Quartz;MVC模型

学科专业：计算机技术（专业学位）

摘要

ABSTRACT

第一章 绪论

1.1 问题提出的背景及意义

1.2 国内外研究现状

1.3 论文的主要工作

1.4 本文的组织结构

第二章 相关技术

2.1 J2EE 平台

2.2 SSH 三大开源框架

2.2.1 Spring2 框架

2.2.2 Struts2 框架

2.2.3 Hibernate3 框架

2.3 QUARTZ 作业调度框架

2.4 正则表达式

2.5 数据库技术

2.5.1 SQLite 数据库

2.5.2 MYSQL 数据库

2.6 本章小结

第三章 系统需求分析

3.1 系统概述

3.1.1 系统用户

3.1.2 开发目标

3.2 系统设计方案

3.2.1 总体设计方案

3.2.2 系统数据流图

3.3 功能需要分析

3.3.1 用户管理用例

3.3.2 文章管理用例

3.3.3 同步管理用例

3.3.4 抓取规则管理用例

3.3.5 关键字管理用例

3.3.6 系统管理用例

3.4 数据需求分析

3.5 性能需求分析

3.6 运行环境分析

3.6.1 硬件环境

3.6.2 软件环境

3.7 本章小结

第四章 系统概要设计

4.1 系统模式设计

4.1.1 MVC 模式

4.1.2 系统分层结构图

4.2 系统架构设计

4.3 总体模块设计

4.4 本章小结

第五章 关键模块设计

5.1 核心功能设计

5.1.1 栏目树递归算法的设计

5.1.2 人工采集算法的设计

5.1.3 采集监控算法的设计

5.1.4 HTTP 请求程序的设计

5.1.5 FTP 上传程序的设计

5.1.6 电子邮件匿名发送程序的设计

5.2 数据库设计

5.3 系统界面设计

5.3.1 登录界面

5.3.2 后台管理界面

5.4 本章小结

第六章 系统的实现

6.1 系统项目结构图

6.2 系统基础架构实现

6.2.1 Model 层实现

6.2.2 Dao 层实现

6.2.3 Service 层实现

6.2.4 Action 层实现

6.3 系统关键模块的实现

6.3.1 人工采集模块的实现

6.3.2 采集监控模块的实现

6.4 本章小结

第七章 系统测试

7.1 测试目标

7.2 测试内容

7.2.1 测试采集功能

7.2.2 测试监控功能

7.3 测试结果

7.4 本章小结

论文总结及未来展望

参考文献

致谢

答辩委员会对论文的评定意见