转载

完整的go爬虫项目

分享一个完整go语言实现的爬虫项目.

gitee传送门: https://gitee.com/ink5188/poem-parent

项目介绍

最近沉迷于古诗文的阅读上,细品其中,沉迷其中.

但平时阅读上感觉还是不大方便,故此有这个项目.

项目中尽可能的保留了自己在Java上的一些编码习惯，

如三层结构：model层 service层，controller层,贴近实际工作开发需要.

希望可以对目前为Java开发者有需要转向go的朋友提供一个参考.

如果该对您有帮助,请给一个star吧.

技术选型

  • xorm

  • go_spider

  • beego

项目结构

poem-parent

|-- poem-api            实体类模块

|  |-- common          公共工具

|  |  `-- base        基础工具

|  `-- module          业务模块

|      `-- core

|-- poem-core          后台核心模块

|  |-- common          公共工具

|  |  |-- base        基础工具

|  |  |-- log        日志工具

|  |  `-- pinyin      拼音转换工具

|  |-- conf            配置文件

|  |-- module          业务模块           

|  |  `-- core

|  `-- test

|      `-- bson

|-- poem-spider        爬虫模块

|  |-- common          公共工具             

|  |  `-- base        基础工具

|  |-- conf            配置文件

|  |-- launch          爬虫启动类

|  `-- module          业务模块

|      `-- gushiwen

`-- poem-web            http服务模块

|    |-- common        公共工具

|    |  |-- base      基础工具

|    |  |-- fliters    过滤器       

|    |  `-- routers    路由配置

|    |-- conf          配置文件

|    |-- module        业务模块

|    |  |-- core

|    |  |-- index

|    |  `-- spider

|    `-- test

模块依赖

| 模块名 | 依赖模块 |

| -------- | :----: |

| poem-api |无|

| poem-core |poem-api|

| poem-spider |poem-api oem-core|

| poem-web |poem-api poem-core poem-spider|

实现功能

  • 诗人数据的获取

  • 诗句数据的获取

  • 古籍数据的获取

  • 名句数据的获取

  • http api 分页接口提供

    项目为一次尝试转换练习,主要是将java的编写习惯尝试转换到go的开发上.仅作学习参考使用.

功能计划

  • 完善后台api提供

  • 对接flutter版的 poem-app

使用教程

  • 配置环境

    • 安装 go

      • 配置GOPATH

    • 环境变量

    | 变量名称=值 | 说明 |

    | -------- | :----: |

    | GO111MODULE=on |开启go mod模块支持|

    | GOPROXY= https://goproxy.cn,direct |依赖包下载代理地址|

    | GOSUMDB=sum.golang.google.cn |包的哈希值校验地址|

  • 导入项目到 JetBrains GoLand 并启用go mod

    完整的go爬虫项目

    image

  • 下载资源包

    cd ./poem-api && go mod tidy

  cd ../poem-core && go mod tidy

  cd ../poem-spider && go mod tidy

  cd ../poem-web && go mod tidy

  • 手动创建数据库

    数据库名为: poem

  • 配置数据库连接

    • 各模块的conf下的 mysql.ini文件修改配置

      • ./poem-core/conf/mysql.ini

      • ./poem-spider/conf/mysql.ini

      • ./poem-web/conf/mysql.ini

  • 同步数据库表

    运行入口: ./poem-core/PC000Application.go

    注意运行时: working directory需为 ****/poem-parent/poem-core 下
    完整的go爬虫项目

    image

  • 执行爬取数据

    运行入口: ./poem-spider/PS000Application.go

  • 启动http服务

    运行入口: ./poem-web/PW000Application.go

    完整的go爬虫项目

    image

  • 联系作者

原文  https://studygolang.com/articles/25040
正文到此结束
所属分类： Java 编程技术

热门推荐

相关文章

阿里云首购8折
说给你听

本文目录
随机标签
书籍教程
springboot-demo Java入门教程 bootstrap3 CSS Apache基础教程 php ionic 教程 Python mysql教程 eclipse Ubuntu VPS系统配置 AngularJS 教程 MongoDB教程 Struts2教程 Redis教程 Spring教程 Git教程 Jenkins进阶系列 openfire参考指南 Java设计模式 HBase教程 Maven教程 hibernate教程 Docker 教程 memcached教程 Quartz指南 Hive教程 Ant教程 ANTLR教程 SpringCloud java实例教程 springcloud-demo XStream教程 Hazelcast教程 Elastic-Job-Lite 深入浅出MyBatis SVN教程 ibaties教程 rabittmq教程 solr教程 Hadoop教程 WebService CXF学习 JPA教程 ActiveMQ中文指南 java-demo Java内存模型 dubbo教程 python3-demo Linux入门视频教程
近期评论
  1. 1 Spring Cloud Consul实现选举机制
  2. 2 Spring Boot集成ShedLock实现分布式定时任务
  3. 3 利用oss进行数据库和网站图片备份
  4. 4 Spring Cloud Stream实现数据流处理
  5. 5 Python3访问MySQL数据库快速入门Demo
  6. 6 Github开源项目作者可以免费申请 JetBrains 全家桶
  7. 7 Spring Cloud Vault快速入门Demo
  8. 8 Spring Cloud Gateway快速入门Demo
  9. 9 Spring Cloud Contract快速入门Demo
  10. 10 Spring Cloud Consul快速入门Demo
网站信息
  • 文章总数：82,714 篇
  • 文件总数：284,287 个
  • 标签总数：2,393 个
  • 分类总数：85 个
  • 留言数量：2,560 条
  • 在线人数：687 人
  • 运行天数：4,408天
  • 最后更新：2024年11月21日23点
Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号 HBLOG HBLOG