go语言爬虫并发 go语言并发编程实战

Go语言的应用

Go语言由Google公司开发，并于2009年开源，相比Java/Python/C等语言，Go尤其擅长并发编程，性能堪比C语言，开发效率肩比Python，被誉为“21世纪的C语言”。

为榆次等地区用户提供了全套网页设计制作服务，及榆次网站建设行业解决方案。主营业务为网站制作、成都网站制作、榆次网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！

Go语言在云计算、大数据、微服务、高并发领域应用应用非常广泛。BAT大厂正在把Go作为新项目开发的首选语言。

Go语言应用范围：

1、服务端开发：以前你使用C或者C++做的那些事情，用Go来做很合适，例如日志处理、文件系统、监控系统等;

2、DevOps：运维生态中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go语言开发;

3、网络编程：大量优秀的Web框架如Echo、Gin、Iris、beego等，而且Go内置的 net/http包十分的优秀;

4、Paas云平台领域：Kubernetes和Docker Swarm等;

5、分布式存储领域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;

6、区块链领域：区块链里面有两个明星项目以太坊和fabric都使用Go语言;

7、容器虚拟化：大名鼎鼎的Docker就是使用Go语言实现的;

8、爬虫及大数据：Go语言天生支持并发，所以十分适合编写分布式爬虫及大数据处理。

Go CSP并发模型

Go的CSP并发模型

Go实现了两种并发形式。第一种是大家普遍认知的：多线程共享内存。其实就是Java或者C++等语言中的多线程开发。另外一种是Go语言特有的，也是Go语言推荐的：CSP（communicating sequential processes）并发模型。

CSP 是 Communicating Sequential Process 的简称，中文可以叫做通信顺序进程，是一种并发编程模型，由 Tony Hoare 于 1977 年提出。简单来说，CSP 模型由并发执行的实体（线程或者进程）所组成，实体之间通过发送消息进行通信，这里发送消息时使用的就是通道，或者叫 channel。CSP 模型的关键是关注 channel，而不关注发送消息的实体。 Go 语言实现了 CSP 部分理论 。

“ 不要以共享内存的方式来通信，相反， 要通过通信来共享内存。”

Go的CSP并发模型，是通过 goroutine和channel 来实现的。

goroutine 是Go语言中并发的执行单位。其实就是协程。

channel是Go语言中各个并发结构体(goroutine)之前的通信机制。 通俗的讲，就是各个goroutine之间通信的”管道“，有点类似于Linux中的管道。

Channel

Goroutine

六星教育：Python和go语言都很火，我要怎么选？

python和go语言有区别：1、Python语法使用缩进来指示代码块；Go语法基于打开和关闭括号；2、Python是基于面向对象编程的多范式语言；Go是基于并发编程范式的过程编程语言。3、Python是动态类型语言，Go是静态类型语言。

Go语言（又称 Golang）是 Google 的 Robert Griesemer，Rob Pike 及 Ken Thompson 开发的一种静态强类型、编译型语言。Go 语言语法与 C 相近，但功能上有：内存安全，GC（垃圾回收），结构形态以及 CSP-style 并发计算。

python是一种广泛使用的具有动态语义的解释型，面向对象的高级编程语言。

Python是一种面向对象的高级编程语言，具有集成的动态语义，主要用于Web和应用程序开发。它在快速应用程序开发领域极具吸引力，因为它提供动态类型和动态绑定选项。

Python是一种解释型语言，这意味着用Python编写的程序不需要事先编译就可以运行，从而可以轻松地测试小段代码并使用Python编写的代码更容易在平台之间移动。

python和go语言的区别：

1、语法

Python的语法使用缩进来指示代码块。Go的语法基于打开和关闭括号。

2、范例

Python是一种基于面向对象编程的多范式，命令式和函数式编程语言。它坚持这样一种观点，即如果一种语言在某些情境中表现出某种特定的方式，理想情况下它应该在所有情境中都有相似的作用。但是，它又不是纯粹的OOP语言，它不支持强封装，这是OOP的主要原则之一。

Go是一种基于并发编程范式的过程编程语言，它与C具有表面相似性。实际上，Go更像是C的更新版本。

3、并发

Python没有提供内置的并发机制，而Go有内置的并发机制。

4、类型化

Python是动态类型语言，而Go是一种静态类型语言，它实际上有助于在编译时捕获错误，这可以进一步减少生产后期的严重错误。

5、安全性

Python是一种强类型语言，它是经过编译的，因此增加了一层安全性。Go具有分配给每个变量的类型，因此，它提供了安全性。但是，如果发生任何错误，用户需要自己运行整个代码。

6、管理内存

Go允许程序员在很大程度上管理内存。而，Python中的内存管理完全自动化并由Python VM管理；它不允许程序员对内存管理负责。

7、库

与Go相比，Python提供的库数量要大得多。然而，Go仍然是新的，并且还没有取得很大进展。

8、速度：

Go的速度远远超过Python。

Python与Golang对比：

1、特点：

Golang

①静态强类型、编译型、并发型

静态类型语言，但是有动态语言的感觉。(静态类型的语言就是可以在编译的时候检查出来隐藏的大多数问题，动态语言的感觉就是有很多的包可以使用，写起来的效率很高)

可直接编译成机器码，不依赖其他库，glibc的版本有一定要求，部署就是扔一个文件上去就完成了。

语言层面支持并发，这个就是Go最大的特色，天生的支持并发。Go就是基因里面支持的并发，可以充分地利用多核，很容易地使用并发。

②垃圾回收机制

内置runtime，支持垃圾回收，这属于动态语言的特性之一吧，虽然目前来说GC(内存垃圾回收机制)不算完美，但是足以应付我们所能遇到的大多数情况，特别是Go1.1之后的GC。

③支持面向对象编程

有接口类型和实现类型的概念，但是用嵌入替代了继承。

④丰富的标准库

Go目前已经内置了大量的库，特别是网络库非常强大。

⑤内嵌C支持

Go里面也可以直接包含C代码，利用现有的丰富的C库

Python

①解释型语言

程序不需要在运行前编译，在运行程序的时候才翻译，专门的解释器负责在每个语句执行的时候解释程序代码。这样解释型语言每执行一次就要翻译一次，效率比较低。

②动态数据类型　

支持重载运算符，也支持泛型设计。（运算符重载，就是对已有的运算符重新进行定义，赋予其另一种功能，以适应不同的数据类型。泛型设计就是定义的时候不需要指定类型，在客户端使用的时候再去指定类型）

③完全面向对象的语言

函数，模块，数字，字符串都是对象，在Python中，一切接对象

完全支持继承，重载，多重继承　

④拥有强大的标准库

Python语言的核心只包含数字，字符串，列表，元祖，字典，集合，文件等常见类型和函数，而由Python标准库提供了系统管理，网络通信，文本处理，数据库接口，图形系统，XML处理等额外的功能。

⑤社区提供了大量第三方库

Python 社区提供了大量的第三方模块，使用方式与标准库类似。它们的功能覆盖 科学计算、人工智能、机器学习、Web 开发、数据库接口、图形系统 多个领域。

2、应用

Python

①网络编程

web应用，网络爬虫

②数据分析和机器学习

③自动化测试

④自动化运维

Golang

①服务器编程

处理日志、数据打包、虚拟机处理、文件系统等。

②分布式系统，数据库代理器等

③网络编程

这一块目前应用最广，包括Web应用、API应用、下载应用。

④内存数据库

如google开发的groupcache，couchbase的部分组件。

⑥云平台

Go语言和Python学哪个好?

Python 可以很好地集成到企业级应用中，可用于机器语言和 AI 应用。Go 语言的特点表明它具备轻量级线程实现(Goroutine)、智能标准库、强大的内置安全性，且可使用最简语法进行编程。Go 在大部分案例中领先，被认为是 Python 的有效替代方案。开发者在选择编程语言时，应考虑开发项目的性质和规模，以及所需的技能组合。

放下个人偏见和喜好，从优点和功能的角度来评价两种语言。不管选择了哪种语言，Go 和 Python 都在持续演进。尽管在大多数情况下 Golang 可能是更好的选择，但Python语言也是不断更新迭代的。以上就是本次分享的全部内容，如果你也想学习一门编程语言，可以考虑下 六星教育 ，这里的课程体系，师资团队以及售后服务，一定不会让你失望!

《Go语言并发之道》pdf下载在线阅读全文，求百度网盘云资源

《Go语言并发之道》百度网盘pdf最新全集下载:

链接：

?pwd=v91m 提取码：v91m

简介：本书作者带你一步一步深入这些方法。你将理解 Go语言为何选定这些并发模型，这些模型又会带来什么问题，

以及你如何组合利用这些模型中的原语去解决问题。学习那些让你在独立且自信的编写与实现任何规模并发系统时所需要用到的技巧和工具。  

Go语言——goroutine并发模型

参考：

Goroutine并发调度模型深度解析手撸一个协程池

Golang 的 goroutine 是如何实现的？

Golang - 调度剖析【第二部分】

OS线程初始栈为2MB。Go语言中，每个goroutine采用动态扩容方式，初始2KB，按需增长，最大1G。此外GC会收缩栈空间。

BTW，增长扩容都是有代价的，需要copy数据到新的stack，所以初始2KB可能有些性能问题。

更多关于stack的内容，可以参见大佬的文章。 聊一聊goroutine stack

用户线程的调度以及生命周期管理都是用户层面，Go语言自己实现的，不借助OS系统调用，减少系统资源消耗。

Go语言采用两级线程模型，即用户线程与内核线程KSE（kernel scheduling entity）是M:N的。最终goroutine还是会交给OS线程执行，但是需要一个中介，提供上下文。这就是G-M-P模型

Go调度器有两个不同的运行队列：

go1.10\src\runtime\runtime2.go

Go调度器根据事件进行上下文切换。

调度的目的就是防止M堵塞，空闲，系统进程切换。

详见 Golang - 调度剖析【第二部分】

Linux可以通过epoll实现网络调用，统称网络轮询器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任务窃取是防止M空闲

每个M都有一个特殊的G，g0。用于执行调度，gc，栈管理等任务，所以g0的栈称为调度栈。g0的栈不会自动增长，不会被gc，来自os线程的栈。

go1.10\src\runtime\proc.go

G没办法自己运行，必须通过M运行

M通过通过调度，执行G

从M挂载P的runq中找到G，执行G