使用minikube在本机搭建kubernetes集群

Kubernetes(k8s)是自动化容器操作的开源平台,基于这个平台,你可以进行容器部署,资源调度和集群扩容等操作。如果你曾经用过Docker部署容器,那么可以将Docker看成Kubernetes底层使用的组件,Kubernetes是Docker的上层封装,通过它可以很方便的进行Docker集群的管理。今天我们使用minikube在单机上进行Kubernetes集群的部署,目的是让我们对k8s有个初步的认识。 Continue reading “使用minikube在本机搭建kubernetes集群”

Docker 日志都在哪里?怎么收集?

日志分两类,一类是 Docker 引擎日志;另一类是 容器日志

Docker 引擎日志 

Docker 引擎日志 一般是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下,后者一般通过 jounarlctl -u docker 来读取。不同系统的位置都不一样,SO上有人总结了一份列表,我修正了一下,可以参考:

系统 日志位置
Ubuntu(14.04) /var/log/upstart/docker.log
Ubuntu(16.04) journalctl -u docker.service
CentOS 7/RHEL 7/Fedora journalctl -u docker.service
CoreOS journalctl -u docker.service
OpenSuSE journalctl -u docker.service
OSX ~/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/log/d‌​ocker.log
Debian GNU/Linux 7 /var/log/daemon.log
Debian GNU/Linux 8 journalctl -u docker.service
Boot2Docker /var/log/docker.log

Continue reading “Docker 日志都在哪里?怎么收集?”

Docker: 如何修改 Docker 的镜像存储位置

我用的阿里云的服务器, 但是系统盘只有20G, 默认 Docker 的镜像文件是安装在/var/lib 目录下的, 这样的话我根本装不了太多的镜像… 这个必须得改改…
搜了下, 解决方案如下:

方案1, 使用参数-g 来修改 Docker 的镜像存储文件夹.

修改方法如下:
在 Ubuntu/Debian 系统下:
编辑 /etc/default/docker 文件, 添加-g 参数的设置, 如下:

在 Fedora/Centos 系统下:

编辑 /etc/sysconfig/docker 文件, 添加-g 参数的设置, 如下:

重启 Docker 服务, 问题就解决了. Continue reading “Docker: 如何修改 Docker 的镜像存储位置”

nomachine: Server log file growing rapidly

In some cases, mainly dependent on system configuration, after having updated NoMachine Terminal Server to version 6, the server log file fills up rapidly with warning messages like:

2017-12-01 08:04:37 791.607 144754 NXSERVER WARNING! Process ‘/usr/NX/bin/nxexec /usr/NX/scripts/restricted/nxenvironmentget.sh mate-session mate-session’ with pid ‘5111/5111’ finished with exit code 1 after 0,014 seconds.
2017-12-01 08:04:37 791.829 144754 NXSERVER WARNING! __getProcessEnvironment /usr/NX/scripts/restricted/nxenvironmentget.sh finished with 1

This does not impact the software’s functionalities.

Continue reading “nomachine: Server log file growing rapidly”

Gitlab库已损坏前端显示500错误解决方法:remote: fatal: loose object xxx is corrupt

今天团队小伙伴们在git push的时候报错:

咋一看吓一跳,数据文件坏掉啦?!赶紧搜索了一下,以下是解决方案。

Continue reading “Gitlab库已损坏前端显示500错误解决方法:remote: fatal: loose object xxx is corrupt”

Go学习整理笔记

最近整理一下Go学习中的一些要点,包括Go性能优化及底层源码要点,作此笔记,巩固基础。

一、并发

1、Go语言的goroutine类似于线程和协程的综合体,能最大限度提升执行效率,发挥多核处理能力;

2、通常情况下,用多进程来实现分布式负载均衡,减轻单进程垃圾回收压力;用多线程(LWP)抢夺更多的处理器资源;用协程来提高处理器时间片利用率;

3、相比较系统默认MB级别的线程栈,goroutine自定义栈初始仅需2KB,所以才能创建成千上万的并发任务。自定义栈采用按需分配策略,在需要时进行扩容,最大能到GB规模;

4、Go在运行时可能会创建很多线程,但任何时候仅有限的几个线程参与并发任务执行。该量默认与处理器核数相等,可用runtime.GOMAXPROCS函数或者环境变量修改;

5、通道:

         1)、通道(channel)相当于一个并发安全的队列;

         2)、goroutine leak是指goroutine处于发送或者接受阻塞状态,但一直未被唤醒,垃圾回收器并不收集此类资源,导致它们会在队列里长期休眠,形成资源泄露;

6、同步:

         1)、通道并不是用来取代锁的,它们有各自不同的使用场景。通道倾向于解决逻辑层次的并发处理架构,而锁则用来保护局部范围的数据安全;

         2)、将Mutex作为匿名字段时,相关方法必须实现为pointer-receiver模式,否则会因为复制导致锁机制失效;

         3)、应将Mutex锁粒度控制在最小范围内,及早释放;

7、建议:

         1)、对性能要求较高时,应避免使用defer Unlock;

         2)、读写并发时,用RWMutex性能会更好一些;

         3)、对单个数据读写保护,可尝试用原子操作;

         4)、执行严格测试,尽可能打开数据竞争检查;

Continue reading “Go学习整理笔记”

OSI七层模型与TCP/IP五层模型

一直做应用层的开发,对于底层的一些概念比较模糊了,这里稍微整理了一下。

一、OSI参考模型

 1、OSI的来源

        OSI(Open System Interconnect),即开放式系统互联。 一般都叫OSI参考模型,是ISO(国际标准化组织)组织在1985年研究的网络互连模型。

        ISO为了更好的使网络应用更为普及,推出了OSI参考模型。其含义就是推荐所有公司使用这个规范来控制网络。这样所有公司都有相同的规范,就能互联了。

  2、OSI七层模型的划分

       OSI定义了网络互连的七层框架(物理层、数据链路层、网络层、传输层、会话层、表示层、应用层),即ISO开放互连系统参考模型。如下图。

        每一层实现各自的功能和协议,并完成与相邻层的接口通信。OSI的服务定义详细说明了各层所提供的服务。某一层的服务就是该层及其下各层的一种能力,它通过接口提供给更高一层。各层所提供的服务与这些服务是怎么实现的无关。
Continue reading “OSI七层模型与TCP/IP五层模型”

JetBrains 出品的 Go 集成开发环境 GogLand 发布正式版

一直用Gogland的公测版本,从本月初发布了正式版(名字改成Goland了),使用了一下,整体功能和公测版差别不大,希望一些异常崩溃的问题得到了解决。

下载地址:

Linux:https://download.jetbrains.com/go/goland-2017.3.tar.gz 
Windows:https://download.jetbrains.com/go/goland-2017.3.exe 
macOS:https://download.jetbrains.com/go/goland-2017.3.dmg

Linsence Server:http://xidea.online

虽然有破解版,看了一下个人版本一年才89刀,支持下正版。

Go语言实现的常用哈希函数,并提供对应的64位方法

以下是使用Go语言实现的常用哈希函数(BKDRHash,APHash,DJBHash,JSHash,RSHash,SDBMHash,PJWHash,ELFHash),并提供每个哈希对应的64位方法。经测试,64位的哈希函数基本不会出现碰撞(测试数据为十亿随机字符串数据量)。

哈希函数代码库地址:https://gitee.com/johng/gf/tree/master/src/g/encoding/ghash