毕业设计（论文）-基于网络爬虫的招聘信息推送系统服务器端的设计与实现

1、惠州学院HUIZHOU UNIVERSITY毕 业 论 文（设 计） 中文题目： 基于网络爬虫的招聘信息推送系统 服务器端设计与实现 英文题目：The recruitment information push system based on web crawler server design and implementation 姓 名 学 号 专业班级 12计算机2班 指导教师 提交日期 2016-4-28 教务处制基于网络爬虫的招聘信息推送系统服务器端设计与实现摘 要现今的招聘信息系统是一个提供招聘信息发布和查阅等服务的平台，但是每个发布招聘信息的平台都有自己的信息局限性，因此将各方的招聘信息收集起来，提供一个平台，为用户提供最全面的招聘信息的分类、分区，查询、搜索，提高招聘和求职的效率就显得相当必要。本系统通过定制、编写针对各个发布招聘信息的平台的网络爬虫来获取各平台的招聘信息，再将这些招聘信息存储到服务器的数据库中，之后再根据这些数据定制专用的移动端，这样就可以将数据库的数据通过移动端发送给用户。同时该项目还有用户信息管理功能，用户只需申请一个账户，便可以保存自己选择与填写的关

2、键字到本地数据库与服务器数据库，无需每次使用都选择和填写关键字。关键词：招聘网站 网络爬虫 招聘信息推送 招聘信息整合全套设计加扣3012250582 The recruitment information push system based on web crawler server design and implementationAbstractTodays recruitment information system is to provide recruitment information release and access to a service platform, but each release recruitment information platform has its own limitations, so will the recruitment information collected, to provide a platform, to provide users with the most comprehensive recruitment inf

3、ormation classification, partition, query, search, and improve the efficiency of the recruitment and employment is quite necessary. This system through the custom, the writing for all recruitment information release platform of crawler to crawl the recruitment information platform, and then on a web page for information about the key content of extract, the storage to the server database, and then customize android APP for client according to the data, so the database can be pushed to users via

4、the android APP end timing data.At the same time, the project and user information management functions, users only need to apply for an account, you can save yourself selection and fill in the keywords to the database, need not use every time selection and fill in the keywords. Keywords: Recruitment website, Web crawler, Recruitment Information Push, Recruitment Information Collection 目 录摘 要IIAbstractIII目 录IV1 绪论61.1 研究背景61.2 研究的意义71.3 研究现状71.4 研究的主要内容及论文的组织结构81.4.1 研究的主要内容81.4.2 论文的组织结构82 相关技术

5、分析92.1 Scrapy爬虫框架92.2 MySQL数据库92.3 Tornado102.4 HTTP协议102.5 JSON103 系统服务器端总体分析与设计113.1 需求分析113.1.1 功能需求113.1.2 性能需求133.1.3 开发环境需求143.2 总体结构设计143.3 模块接口设计153.3.1 网络爬虫模块接口设计153.3.2 移动端通信接口接口设计：153.4 数据库设计213.4.1 数据库E-R图213.4.2 数据库逻辑结构设计234 系统服务器端详细设计254.1 网络爬虫模块详细设计254.1.1 爬取功能详细设计254.1.2 数据整合功能详细设计284.1.3 数据存储功能详细设计304.2 移动端通信接口模块详细设计314.2.1 注册接口314.2.2 登录接口324.2.3 找回密码接口334.2.4 获取个人信息接口344.2.5 修改个人信息接口354.2.6 获取关键字列表接口364.2.7 搜索招聘信息接口384.2.8 上传用户数据接口394.2.9 下载用户数据接口414.2.10 推送招聘信息接口435 系统测试455.1

6、 测试目的455.2 测试环境455.3 测试内容455.3.1 网络爬虫功能测试455.3.2 移动端通信接口功能测试486 总结与展望506.1 总结506.2 展望50致 谢51参考文献52附 录53III1 绪论1.1 研究背景网络招聘，一般也称为在线招聘或者是电子招聘，是指在借助互联网的应用，实现企业单位人事部完成招聘工作的一种新型模式，即企业或者事业单位通过企业的官方网站或者互联网的第三方招聘信息发布平台如智联、前程无忧、58同城等发布招聘信息，然后通过电子邮件或者平台内部的简历数据库搜集应聘者的应聘信息，接着对简历进行初步筛选，再根据岗位实际需要安排相应的笔试和面试，最后确定聘用适合企业招聘岗位要求的岗位人选。不同于传统招聘，网络招聘打破了时间和空间上的限制，可以快速、便捷地在招聘双方之间传递信息，让双方的交流互动更加方便和及时。现在的互联网信息技术发展迅速，对人们的生活方式产生了深刻的影响，网络招聘已经成为很多求职者的首要选择，越来越多的企业或者事业单位也通过网络招聘进行人才招聘。总而言之，网络招聘以它自身独特的优势成为进行招聘工作的主流趋势。根据艾瑞提供的统计数据可知

7、，在截至2014年底网络招聘的雇主数量达到252.4万家，增长率为28.2；网络求职者规模达到11525.2万人，增长率10.9%，两者都呈高速上升趋势，随着互联网的普及，网络招聘雇主招聘需求尤其是中小企业、微小企业的招聘需求持续增大，网络求职者的数量更是庞大，到2018年的时候预计会突破1.6亿人。供需量如此大的发展趋势对网络招聘的服务能力提出了更高的要求。因此，网络招聘的市场是非常具有潜力的1。目前市面上网络招聘途径存在以下两种方式：第一种，企业在自己的官网上发布招聘信息。求职者通过发送求职信到企业邮箱求职或者在官网上注册会员后完成线上履历的制作再把简历提交到官网的数据库中。这种方式属于比较老式的招聘方式，对于招聘双方都产生一定的局限性，因为招聘信息都发布在企业各自的官方网站上，信息的传播广度和深度都受到了限制，同时也容易产生信息的遗漏和滞后性，除非求职者时刻关注着企业官方网站的信息，否则是很难发现这些招聘信息，因此这种招聘方式是非常落后的，最终会被逐渐淘汰。第二种，企业将自己的招聘信息发布在第三方招聘平台上。企业在这些平台中注册各自的企业账号，通过这个账号发布招聘信息，同时也根据

8、这个账号进行搜集和管理简历；求职者在这些招聘平台上搜索不同的招聘信息，通过注册账号成为这些网站的会员后再进行制作和投放自己的简历给企业。这种招聘信息的发布方式是现在最流行的招聘方式，由于这些平台提供的信息量大且范围广，求职者更愿意选择在这种平台上搜索和发现适合自己的岗位信息；由于这些平台拥有广大的客户群体，企业也更倾向于通过这样一个平台发布招聘信息，以便这些招聘信息能及时又迅速地传播。求职者和企业都实现了求职求贤的综合功能。近几年中发展的比较快的几大网络招聘信息平台有：前程无忧、猎聘网、智联招聘、中华英才网等2。1.2 研究的意义虽然国内的招聘网站以及其他也有发布招聘信息的平台众多，但是企业或用人单位在发布招聘信息时一般最多只会选择3到5个平台进行信息发布，因此导致的结果就是招聘信息太过分散，且一般招聘网站的检索功能有限，比如每次检索只能定位在一个城市，不能同时定位多个城市，求职者一般要浏览很多招聘信息网站或其他平台才能找到合适自己的工作。因此，当下迫切需要一个能够把尽可能多的招聘信息整合到一起的平台，且该平台还要提供更强大的检索功能，这样用户就可以通过该平台来进行招聘信息的检索，在短

9、时间内就能够获取到大量的招聘信息，从而使求职者可以更快找到心仪的工作。1.3 研究现状目前，基于网络爬虫的招聘信息平台在国内外比较少见，有提供该平台的主要是搜索引擎公司如百度、谷歌等。但是大多数只能够做到对招聘信息的模糊搜索，不能做到对招聘信息的精确搜索以及对招聘信息的有效管理。另外因为招聘网站的招聘信息在未经允许的情况下是不能随意转载与发布的，因此基于网络爬虫的招聘信息系统目前还没有比较成功的案例。而传统的招聘网站除了有一定的招聘信息局限性之外，其所提供的搜索功能也并不会强大，比如每次搜索只能定位一个地区，只能选择一个行业等之类的限制，并不能提供给用户非常强大的搜索功能。1.4 研究的主要内容及论文的组织结构1.4.1 研究的主要内容1) 系统需求分析，确定基于网络爬虫的招聘信息推送系统服务器端需要具备的功能；2) 对基于网络爬虫的招聘信息推送系统服务器端进行概要设计，并确定初步方案；3) 研究服务器端与移动端的通信；4) 网络爬虫的招聘信息推送系统服务器端各个功能模块进行测试。1.4.2 论文的组织结构本论文是在“基于网络爬虫的招聘信息推送系统服务器端的设计与实现”的基础上完成的。论文的组织结构具体如下：第1章 绪论，主要介绍基于网络爬虫的网络招聘的研究背景及研究意义。第2章

《毕业设计（论文）-基于网络爬虫的招聘信息推送系统服务器端的设计与实现》由会员pu****.1分享，可在线阅读，更多相关《毕业设计（论文）-基于网络爬虫的招聘信息推送系统服务器端的设计与实现》请在金锄头文库上搜索。