目录

前言

一、违规教育信息

1、内容管理 

2、转换后的内容

二、数据库设计

1、空间数据库

三、字符地址位置转换空间信息

1、实现时序图

2、后台实体类的设计与实现

3、数据持久化操作

 四、总结

前言

        时间来到2024年8月24日，时间过得很快，2024年的暑假即将结束。神兽们该归笼了，各位家长们又是辛苦的照顾两个月。在这两个月的时间中，大家一定参加过不少的教育培训，中学的也好，小学的也好。一定有很多的家长在给家里的小朋友找了很多机构进行培训。先不说培训机构的培训能力怎么样，相信大家一定很关注哪些是违规培训。以博主所在的城市为例，关于违规培训有以下的定义：

凡是在周末、寒暑假、节假日开展义务教育学科培训的机构（个人）均为违规培训；凡是没有办学许可证的开展校外培训的机构均为违规培训机构。校外培训机构一次性不得收取超过三个月或60个课时的费用，非学科类培训机构一次性收费不得超过5000元。请广大家长知晓，如遇到违规培训或者违规收费，可以进行投诉举报。

        根据市教育局的通知和工作要求，在今年整个暑假期间，监管不松懈！暑假以来，全市各区县（市）共出动多次，拆除违规广告牌若干处，下发停办或者整改通知书若干份。共查处违规培训行为，其中隐形变异学科培训25起，无证非学科类培训14起，有证机构违规办学2起。希望我们广大的家长在挑选培训机构的时候，可以选择正规的机构，不仅保证我们的培训质量，同时还可能引起财产的损失。

        作为一名地理信息从业者，我们可以将这些违规商家的信息搜集起来，可以整理成一个信息的黄页，在家长需要进行信息查询的时候，就知道这些机构是需要注意的。这也是为人民服务了，当然，有教育需求的地方才会有较多的培训结构。因此，通过我们的地址编码，将地名地址转换成空间位置，我们进而可以分析出，该城市的教培空间分布模式，掌握教育分布情况。也可以优化相应的教育配套，引导更优质的教育培训机构入驻，为家长和学生提供优质的教育需求。

        本文以Java语言为例，将市教育局发布的违规培训名单进行集中采集，将数据集中存储。可以将这些数据进行统一分析，为下一步的空间分析和使用分布模型的建立，甚至后续的空间图谱构建奠定一个坚实的基础。通过本文，您将掌握如何进行数据的高效写入，同时进行地理编码的转换，以及相关空间表的设计。

一、违规教育信息

        首先我们来介绍一下市教育局公布的违规教育信息，这里的数据来源于长沙晚报掌上长沙，41起！长沙通报暑期第二批违规培训名单。大家可以看到这是8月7日公布的一个名单。

1、内容管理 

        上面的表格仅展示了隐形变异学科培训列表，在表格中包含了机构名称、机构地址、备注信息等重要信息。请注意，上面的信息是存储在图片的表格中，因此我们不能直接的使用抓取工具来进行的获取。当然，在上面这种信息量不是很多的情况下，我们可以直接进行人工手动录入，毕竟数据量也是有限。本文呢，暂时用这种手工处理的模式。更加智能的方式是进行OCR识别，当然这里的OCR识别，需要识别出表格，而不是按照文本的顺序按空格输出，这样拿到的数据也是不符合需要的。要实现这种表格的识别，得加上OpenCV等组件进行学习或者深度学习来识别表格外框，再结合COR的外框来进行精准识别。关于利用OpenCV来进行表格识别的内容，暂且不表。

2、转换后的内容

        在明确数据的采集之后，我们可以利用微信或者一些在线工具，把下载的图片进行在线识别，将数据转换成Excel，也可以一行行的录入相关数据。最后可以得到下面的Excel表格。

        在拿到上面的数据之后，我们就可以实现相关的数据存储，为了在下一步进行空间热力图和空间分布的查看，我们需要将这些拿到的中文地址转换成经纬度坐标，然后存储到数据库中。

二、数据库设计

        在明确了元数据的各项指标之后，我们就可以进行存储的表设计，这里我们采用PostGIS来存储，将直接存储上面采集到的元数据信息，同时还会调用天地图的相关接口，实现地理编码的解析以及空间信息的存储。因此本小节来讲一下数据库的设计。

1、空间数据库

这是上述业务表的字段信息，其DDL语句和索引的设定如下SQL所示，大家可以直接复制使用：

<code>CREATE TABLE "public"."biz_violation_training" (

"id" int8 NOT NULL,

"name" varchar(255) COLLATE "pg_catalog"."default" NOT NULL,

"address" varchar(512) COLLATE "pg_catalog"."default" NOT NULL,

"remark" varchar(255) COLLATE "pg_catalog"."default",

"publish_date" timestamp(6) NOT NULL,

"type" varchar(128) COLLATE "pg_catalog"."default",

"source" varchar(64) COLLATE "pg_catalog"."default",

"lat" varchar(32) COLLATE "pg_catalog"."default",

"lon" varchar(32) COLLATE "pg_catalog"."default",

"geom" "public"."geometry",

"create_by" int8,

"create_time" timestamp(6),

"update_by" int8,

"update_time" timestamp(6),

CONSTRAINT "pk_biz_violation_training" PRIMARY KEY ("id")

);

CREATE INDEX "idx_biz_violation_training_sour" ON "public"."biz_violation_training" USING btree (

"source" COLLATE "pg_catalog"."default" "pg_catalog"."text_ops" ASC NULLS LAST

);

CREATE INDEX "idx_biz_violation_training_type" ON "public"."biz_violation_training" USING btree (

"type" COLLATE "pg_catalog"."default" "pg_catalog"."text_ops" ASC NULLS LAST

);

CREATE INDEX "idx_biz_violation_traning_geom" ON "public"."biz_violation_training" USING gist (

"geom" "public"."gist_geometry_ops_2d"

);

COMMENT ON COLUMN "public"."biz_violation_training"."id" IS '主键';

COMMENT ON COLUMN "public"."biz_violation_training"."name" IS '机构名称';

COMMENT ON COLUMN "public"."biz_violation_training"."address" IS '地址';

COMMENT ON COLUMN "public"."biz_violation_training"."remark" IS '备注';

COMMENT ON COLUMN "public"."biz_violation_training"."publish_date" IS '发布时间';

COMMENT ON COLUMN "public"."biz_violation_training"."type" IS '类型';

COMMENT ON COLUMN "public"."biz_violation_training"."source" IS '来源';

COMMENT ON COLUMN "public"."biz_violation_training"."lat" IS '纬度';

COMMENT ON COLUMN "public"."biz_violation_training"."lon" IS '经度';

COMMENT ON COLUMN "public"."biz_violation_training"."geom" IS '位置';

COMMENT ON COLUMN "public"."biz_violation_training"."create_by" IS '创建人';

COMMENT ON COLUMN "public"."biz_violation_training"."create_time" IS '创建时间';

COMMENT ON COLUMN "public"."biz_violation_training"."update_by" IS '更新人';

COMMENT ON COLUMN "public"."biz_violation_training"."update_time" IS '更新时间';

三、字符地址位置转换空间信息

        在了解数据源，还有空间数据表的相关设计之后，我们要实现从Excel数据表中，将信息表格提取出来，然后调用天地图的API接口将地址转换成坐标，最后见Geometry信息，从而实现信息的保存。

1、实现时序图

        下面使用转换时序图来重点讲解一下真个过程是如何实现。首先讲解时序图，然后将给出重点步骤的代码实现。

 1.1、首先使用java的file对象将Excel表格读取到内存中，等待处理。

 1.2、使用ExcelUtil来进行数据的读取。

 1.3、实际将表格导入的内存中，然后将结果转为List。

 1.4、将地名地址信息发送给后台，将地名地址传给天地图。

 1.5、将点地图返回的数据进行JSON解析，转换为Java对象，从而获取Location等地址信息。

 1.6、根据返回的地址信息构建Geometry的字段信息。

 1.7、将Excel表格中的数据进行重新赋值。

 1.8、将数据进行批量插入到数据库中。

 1.9、完成。

        以上就是大致的处理的流程。

2、后台实体类的设计与实现

        后台实体类的模型设计很重要，为了在数据中可以直观的看到经纬度信息，因此在数据库表格中设计两个字段，用来存储经纬度信息。

<code>package com.yelang.project.education.domain;

import java.io.Serializable;

import java.util.Date;

import com.baomidou.mybatisplus.annotation.TableField;

import com.baomidou.mybatisplus.annotation.TableId;

import com.baomidou.mybatisplus.annotation.TableName;

import com.yelang.framework.aspectj.lang.annotation.Excel;

import com.yelang.framework.handler.PgGeometryTypeHandler;

import com.yelang.framework.web.domain.BaseEntity;

import lombok.AllArgsConstructor;

import lombok.Getter;

import lombok.NoArgsConstructor;

import lombok.Setter;

import lombok.ToString;

/**

* 违规办学培训实体类

* @author 夜郎king

*/

@TableName(value ="biz_violation_training",autoResultMap = true)

@NoArgsConstructor

@AllArgsConstructor

@Setter

@Getter

@ToString

public class ViolationTraining extends BaseEntity implements Serializable{

private static final long serialVersionUID = 879828674200308872L;

@TableId(value="id")code>

private Long id;

@Excel(name = "序号")

@TableField(exist = false)

private String index;

@Excel(name = "名称")

private String name;

@Excel(name = "地址")

private String address;

@Excel(name = "备注")

private String remark;

@Excel(name = "时间",dateFormat = "yyyy-MM-dd")

@TableField(value= "publish_date")

private Date date;

@Excel(name = "类型")

private String type;

@Excel(name = "来源")

private String source;

private String lat;//经度

private String lon;//纬度

@TableField(typeHandler = PgGeometryTypeHandler.class)

private String geom;

@TableField(exist=false)

private String geomJson;

}

3、数据持久化操作