go语言处理html go语言处理视频

golang怎么把html解析成map

Golang如何解析Html代码

创新互联专业为企业提供八公山网站建设、八公山做网站、八公山网站设计、八公山网站制作等企业网站建设、网页设计与制作、八公山企业网站模板建站服务，十年八公山做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

用Golang的朋友都知道如果我们要从HTML中提取一些内容、比如title或者是h2在或者是一些其他的HTML的内容、在Golang里面我们如果要自己写代码来提取还是相当的麻烦的；

由于我之前在写Pyhon的爬虫的时候也需要解析HTML标签；所以用过PyQuery和BS4.这次在用Golang写爬虫的时候就留意了一下是否有Golang版本的Query。github是个好地方；上面很找到很多开源的代码可以用；包括GoQuery。

所以这次会介绍一下如何用GoQuery来解析HTML元素。

导入Goquery模块

package mainimport ( "fmt" "github点抗 /opesun/goquery")其实还有一个github点抗 /PuerkitoBio/goquery的goquery模块、但是配置环境经常出差就没有选择

Goquery的各种用法

goquery有Jquery的大部分特性；如果你熟悉Jquery的话用Goquery就很简单了

解析HTML的title

var url = ""p, err := goquery.ParseUrl(url)if err != nil { panic(err)} else { pTitle := p.Find("title").Text()//直接提取title的内容 fmt.Println(pTitle)}

命令行下运行go run page.go之后得到输出

“Smart Testing | 专注于软件测试领域的技术讨论和研究、关注IT互联网、WordPress技巧的个人博客”

解析HTML内容

如果要得到HTML的内容就更简单了fmt.Println(p.Html())//.Html()得到html内容

获取h2/h1之类的标签内容

class := p.Find("h2").Text()fmt.Println(class, "/n")

我们可以使用Find()来查找需呀哦的标签；并且用.Text()来显示标签的内容

解析提取class的内容

如果要解析class的内容；需要在Find(".")加一个.

下面我们要提取class”entry-title”里面、后面的”href”的URL地址

由于超过1条内容所以不能用Text()来打印结果；需要用for来循环一下；

t := p.Find(".entry-title a")for i := 0; i t.Length(); i++ {d := t.Eq(i).Attr("href")fmt.Println(d)}

输出结果如下

其实就是首页里面的4篇文章的地址

如果想得到html里面所有的herf

fmt.Println(p.Find("").Attrs("href"))

用上面一行代码就可以得到HTML里面全部的href内容了

判断元素是否存在

如果想要判断一个元素是否在HTML里面；可以使用下面的代码fmt.Println(p.Find("div").HasClass("entry-content"))

判断div下面有没有“entry-content”的class元素；有返还true；没有返回false

golang——json的html标签转义问题

json的Marshal 用来对slice，map，struct等结构化类型数据转义成[]byte/string，UnMarshal方法是用来对[]byte/string转义成指定结构的interface。但在处理html标签字符中，会存在转义问题。Marshal方法默认把html标签中的'', '' , ''字符转义成unicode，为强制为有效UTF-8的JSON字符串，用Unicode替换符号替换无效字节。

go doc原文

Marshal的源码

这一行encOpts{escapeHTML: true})，这里的true导致标签被转义。

针对上述问题，有两种解决办法，第一种是替换上述三个tag，第二种是SetEscapeHtml(false)；

输出：

组件分享之后端组件——基于Go语言的HTML和CSS网站生成器Hugo

近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。

本节分享一个基于Go语言的HTML和CSS网站生成器 hugo ，它针对速度、易用性和可配置性进行了优化。Hugo 获取一个包含内容和模板的目录，并将它们呈现为一个完整的 HTML 网站。Hugo 依赖于 Markdown 文件和元数据的前端，你可以从任何目录运行 Hugo。这适用于您没有特权帐户的共享主机和其他系统。例如我们日常编写一些博客文章，进行快速生成一套静态页面进行分享时可以使用它来进行生成一套静态页面作为我们的博客部署基础。

它支持大量的主题模板，我们可以通过 进行选择相关的主题使用，有兴趣的小伙伴可以进行深入研究一下