Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

项目描述

一、需求

获取携程网站用户点评数据保存到数据库中

http://vacations.ctrip.com/grouptravel/p1740331s0-comment-1.html

二、项目结构

三、代码说明

创建xiechengcourse数据库，执行comment.sql文件

首先说一个工具类

执行main方法，会自动根据数据库表生成entity，mapper，mapper.

注意：只能执行一次，否则会报错，要想重新执行把这三个文件删了重新执行一遍

pom.xml(所依赖的jar包)

有mybatis生成工具的依赖，httpclient的依赖，还有mysql的依赖，json的依赖，。。。。。。

application.yml

配置文件

DataController.java

就一个api，一个参数page，传入几页就是拉取几页的数据

CommentServiceImpl.java

业务很简单，就是根据url爬取数据，然后批量保存到数据库中

CommentMapper.java

批量插入数据要自己添加，不能自动生成

<!--批量插入数据-->

<insert id="insertBatch" parameterType="java.util.List">

  insert into comment

  (id, user_id, user_type,score, comment_info,comment_tips)

  values

  <foreach collection="list" index="index" item="item" separator=",">

    (#{item.id,jdbcType=INTEGER}, #{item.userId,jdbcType=VARCHAR}, #{item.userType,jdbcType=VARCHAR},

    #{item.score,jdbcType=VARCHAR}, #{item.commentInfo,jdbcType=LONGVARCHAR}, #{item.commentTips,jdbcType=TIMESTAMP})

  </foreach>

</insert>