基于搜索引擎的知识分享系统设计与实现开题报告

1. 研究目的与意义

随着互联网的发展，大学生对知识的汲取和引用已不再仅仅局限于老师和书籍上，在网络上进行交流和互动不仅可以了解到更全面更新鲜的知识，也可以在网络上进行互动交流，产生1 1>2的效果。

该软件建立背景是基于现代社会，网络越来越发达，可知识上的交流却略显凌乱，虽然有平台提供交流，不过门槛过高，本软件致力于普及知识，将知识交流平台大众化，应用于广大大众。

随着共享生活的普及，知识共享也迈入资源共享社会，作为一种快速便捷的工作和学习方式，愈来愈多的人们开始接受这样的模式，不仅改变了传统的网络和社会结构，它还使交流和沟通更有明确的选择性和方向性。

2. 课题关键问题和重难点

关键问题1、所选择的搜索引擎是否适合知识分享的开发；2、是否有合适的关键算法和数据结构；3、知识是否足够丰富，内容是否足够完整；难点1、是否支持并发的爬取数据，如果要并发，要保证所有采集器能合作采集，不会出现重复采集的情况；2、采集的数据还要有一个排重的过程.只需要采集一个网站更新的数据；3、对于需要cookie 数据的网页如何采集的问题,部分网站需要通过cookie数据登陆网站；4、自动通过识别码的验证5、一些网站对于密集访问的请求会拒绝，技术上也要进行处理；6、对于一些特殊网页的采集问题,比如flash 网页，一些游戏网页等，很多网站会让采集程序陷入其中，采集数万无效数据，显然是浪费了采集程序的精力；

3. 国内外研究现状（文献综述）

搜索引擎技术起源1990年，蒙特利尔大学学生alan emtage、peter deutsch和bill wheelan出于个人兴趣，发明了用于检索、查询分布在各个ftp主机中的文件archie，当时他们的目的仅仅是为了在查询文件时的方便，他们未曾预料到他们的这一创造会成就日后互联网最的广阔市场，他们发明的小程序将进化成网络时代不可或缺的工具搜索引擎。

1991年，在美国cerfnet、psilnet及alternet网络组成了ciea〈商用lnternet协会）宣布用户可以把它们的internet子网用于商业用途，开始了internet商业化的序幕。

商业化意味着互联网技术不再为科研和军事领域独享，商业化意味着有更多人可以接触互联网，商业化更意味着潜在的市场和巨大的商机。

4. 研究方案

基于搜索引擎的知识分享系统将在windows10操作系统下，利用java和mysql数据库进行编写。

同时利用lucene进行对搜索引擎的开发。

本系统具有前端和后端，用户可以通过前端进行操作，管理员可以通过后端进行数据的调整。

5. 工作计划

2022-2022-1学期：第15-16周：完成选题，查阅相关中英文资料。

。

第17周：与导师沟通进行课题总体规划。