Linux C 开发 – libevent

Libevent介绍
libevent是一个事件触发的网络库,适用于windows、linux、bsd等多种平台,内部使用select、epoll、kqueue等系统调用管理事件机制。著名分布式缓存软件memcached也是libevent based,而且libevent在使用上可以做到跨平台,而且根据libevent官方网站上公布的数据统计,似乎也有着非凡的性能。
官方网站:http://libevent.org/
英文文档:http://www.wangafu.net/~nickm/libevent-book/
中文文档:http://www.cppblog.com/mysileng/category/20374.html
Libevent是基于事件的网络库。说的通俗点,例如我的客户端连接到服务端属于一个连接的事件,当这个事件触发的时候就会去处理。
该文章阅读过程中,请结合下面的socket例子,可能会更加清晰的理解每一个接口的用法。

event_base
1. 创建event_base
event_base是event(事件,后面会讲event)的一个集合。event_base中存放你是监听是否就绪的event。一般情况下一个线程一个event_base,多个线程的情况下需要开多个event_base。
event_base主要是用来管理和实现事件的监听循环。
一般情况下直接new一个event_base就可以满足大部分需求了,如果需要配置参数的,可以参见libevent官网。
创建方法:

销毁方法:

重新初始化:

2. 查看IO模型
IO多路复用模型中,有多种方法可以供我们选择,但是这些模型是在不同的平台下面的: select  poll  epoll  kqueue  devpoll  evport  win32
当我们创建一个event_base的时候,libevent会自动为我们选择最快的IO多路复用模型,Linux下一般会用epoll模型。
下面这个方法主要是用来获取IO模型的名称。

3. 销毁event_base

4. 事件循环 event loop
我们上面说到 event_base是一组event的集合,我们也可以将event事件注册到这个集合中。当需要事件监听的时候,我们就需要对这个event_base进行循环。
下面这个函数非常重要,会在内部不断的循环监听注册上来的事件。

返回值:0 表示成功退出  -1 表示存在错误信息。
还可以用这个方法:

event_base_loop这个方法会比event_base_dispatch这个方法更加灵活一些。
EVLOOP_ONCE: 阻塞直到有一个活跃的event,然后执行完活跃事件的回调就退出。
EVLOOP_NONBLOCK : 不阻塞,检查哪个事件准备好,调用优先级最高的那一个,然后退出。
0:如果参数填了0,则只有事件进来的时候才会调用一次事件的回调函数,比较常用事件循环停止的情况:
1. event_base中没有事件event
2. 调用event_base_loopbreak(),那么事件循环将停止
3. 调用event_base_loopexit(),那么事件循环将停止
4. 程序错误,异常退出
两个退出的方法:

两个方法区别:
1. event_base_loopexit(base, NULL) 如果当前正在为多个活跃事件调用回调函数,那么不会立即退出,而是等到所有的活跃事件的回调函数都执行完成后才退出事件循环
2. event_base_loopbreak(base) 如果当前正在为多个活跃事件调用回调函数,那么当前正在调用的回调函数会被执行,然后马上退出事件循环,而并不处理其他的活跃事件了

5. event_base的例子:

返回:

event 事件
event_base是事件的集合,负责事件的循环,以及集合的销毁。而event就是event_base中的基本单元:事件。
我们举一个简单的例子来理解事件。例如我们的socket来进行网络开发的时候,都会使用accept这个方法来阻塞监听是否有客户端socket连接上来,如果客户端连接上来,则会创建一个线程用于服务端与客户端进行数据的交互操作,而服务端会继续阻塞等待下一个客户端socket连接上来。客户端连接到服务端实际就是一种事件。
1. 创建一个事件event

参数:
1. base:即event_base
2. fd:文件描述符。
3. what:event关心的各种条件。
4. cb:回调函数。
5. arg:用户自定义的数据,可以传递到回调函数中去。

libevent是基于事件的,也就是说只有在事件到来的这种条件下才会触发当前的事件。例如:
1. fd文件描述符已准备好可写或者可读
2. fd马上就准备好可写和可读。
3. 超时的情况 timeout
4. 信号中断
5. 用户触发的事件

what参数 event各种条件:

2. 释放event_free
真正的释放event的内存。

event_del 清理event的内存。这个方法并不是真正意义上的释放内存。
当函数会将事件转为 非pending和非activing的状态。

3. 注册event
该方法将用于向event_base注册事件。
参数:ev 为事件指针;tv 为时间指针。当tv = NULL的时候则无超时时间。
函数返回:0表示成功 -1 表示失败。

tv时间结构例子:

4.event_assign
event_new每次都会在堆上分配内存。有些场景下并不是每次都需要在堆上分配内存的,这个时候我们就可以用到event_assign方法。
已经初始化或者处于 pending 的 event,首先需要调用 event_del() 后再调用 event_assign()。这个时候就可以重用这个event了。

5. 信号事件
信号事件也可以对信号进行事件的处理。用法和event_new类似。只不过处理的是信号而已

6. event细节
1. 每一个事件event都需要通过event_new初始化生成。event_new生成的事件是在堆上分配的内存。
2. 当一个事件通过event_add被注册到event_base上的时候,这个事件处于pending(等待状态),当只有有事件进来的时候,event才会被激活active状态,相关的回调函数就会被调用。
3. persistent 如果event_new中的what参数选择了EV_PERSIST,则是持久的类型。持久的类型调用玩回调函数后,会继续转为pending状态,就会继续等待事件进来。大部分情况下会选择持久类型的事件。
4. 而非持久的类型的事件,调用玩一次之后,就会变成初始化的状态。这个时候需要调用event_add 继续将事件注册到event_base上之后才能使用。

Socket实例

说明:
1. 必须设置socket为非阻塞模式,否则就会阻塞在那边,影响整个程序运行

2. 我们首选建立的事件主要用于监听客户端的连入。当客户端有socket连接到服务器端的时候,回调函数do_accept就会去执行;当空闲的时候,这个事件就会是一个pending等待状态,等待有新的连接进来,新的连接进来了之后又会继续执行。

3. 在do_accept事件中我们创建了一个新的事件,这个事件的回调函数是do_read。主要用来循环监听客户端上传的数据。do_read这个方法会一直循环执行,接收到客户端数据就会进行处理。

Bufferevent
上面的socket例子估计经过测试估计大家就会有很多疑问:
1. do_read方法作为一个事件会一直被循环
2. 当客户端连接断开的时候,do_read方法还是在循环,根本不知道客户端已经断开socket的连接。
3. 需要解决各种粘包和拆包(相关粘包拆包文章)问题

如果要解决这个问题,我们可能要做大量的工作来维护这些socket的连接状态,读取状态。而Libevent的Bufferevent帮我们解决了这些问题。
Bufferevent主要是用来管理和调度IO事件;而Evbuffer(下面一节会讲到)主要用来缓冲网络IO数据。
Bufferevent目前支持TCP协议,而不知道UDP协议。我们这边也只讲TCP协议下的Bufferevent的使用。
我们先看下下面的接口(然后结合下面改进socket的例子,自己动手去实验一下):
1. 创建Bufferevent API

参数:
base:即event_base
fd:文件描述符。如果是socket的方法,则socket需要设置为非阻塞的模式。
options:行为选项,下面是行为选项内容
1. BEV_OPT_CLOSE_ON_FREE :当 bufferevent 被释放同时关闭底层(socket 被关闭等) 一般用这个选项
2. BEV_OPT_THREADSAFE :为 bufferevent 自动分配锁,这样能够在多线程环境中安全使用
3. BEV_OPT_DEFER_CALLBACKS : 当设置了此标志,bufferevent 会延迟它的所有回调(参考前面说的延时回调)
4. BEV_OPT_UNLOCK_CALLBACKS : 如果 bufferevent 被设置为线程安全的,用户提供的回调被调用时 bufferevent 的锁会被持有。如果设置了此选项,Libevent 将在调用你的回调时释放 bufferevent 的锁

 

2. 释放Bufferevent

如果设置了延时回调BEV_OPT_DEFER_CALLBACKS,则释放会在延时回调调用了回调函数之后,才会真正释放。

 

3. 设置Bufferevent的回调函数和相关设置
前面我们说过了,使用了Bufferevent之后,Libevent会帮我们托管三种事件:1. 读取事件  2. 写入事件  3. 处理事件
我们先看一下回调函数结构:
1. 读取和写入的回调函数结构,其中 ctx为通用传递的参数

2. 事件回调,即连接断开、错误处理等回调。其中ctx为通用传递的参数。
events参数为事件,用户可以在回调函数中拿到这个事件来进行事务处理的判断:
1. BEV_EVENT_READING   在 bufferevent 上进行读取操作时出现了一个事件
2. BEV_EVENT_WRITING  在 bufferevent 上进行写入操作时出现了一个事件
3. BEV_EVENT_ERROR  进行 bufferevent 操作时出错
4. BEV_EVENT_TIMEOUT  在 bufferevent 上出现了超时
5. BEV_EVENT_EOF  在 bufferevent 上遇到了文件结束符,连接断开
6. BEV_EVENT_CONNECTED 在 bufferevent 上请求连接完成了

3. 在bufferevent上设置回调函数。
bufev:bufferevent_socket_new创建的bufferevent
readcb:读取事件的回调函数,没有则可以为NULL
writecb:写入事件的回调函数,没有则可以为NULL
eventcb:事件函数的回调函数,没有则可以为NULL,一般我们可以在这里面判断连接断开等。
cbarg:公用传输的传递
通过这个函数,我们就可以设置我们需要的一些回调函数信息。

取回回调函数:

4. 设置Bufferevent事件的类型

5. 水位设置。
水位设置可以这么理解,bufferevent相当于一个水位容器,其中参数:
events:EV_READ 则为设置读取事件;EV_WRITE 则为写入事件。EV_READ |  EV_WRITE 为设置两者的水位。
lowmark:最低水位,默认为0。这个参数非常重要,例如lowmark设置为10,则当bufferevent容器中有10个字符的时候才会去调用readcb这个回调函数。

6. 下面可以看一个设置和回调函数例子:

4. 输入输出相关函数
1. 获取buffer:

2. 写入和输出函数,成功返回0,失败返回-1:
bufev:bufferevent
data:写入的字符串数据
size:字符长度

3. 写入输出函数2:
bufev:bufferevent
buf:buffer块  下面会讲到evbuffer的使用

使用Bufferevent后的Socket例子:
上面我们已经介绍完了Bufferevent的相关API,可以看下具体例子。

Evbuffer IO缓冲
上面讲了Bufferevent主要用于事件的管理和调度IO。而Evbuffer给我们提供了非常实用的IO缓存工具。
上一个例子中,虽然解决了断开连接、读取事件等IO管理的工作,但是也是存在缺陷的。
1. 因为TCP粘包拆包的原因,我们不知道一次接收到的数据是否是完整的。
2. 我们无法根据客户端传递过来的数据来分析客户端的请求信息。根据上面的问题,我们可能会考虑设计一个缓冲容器,这个容器主要用来不停得接收客户端传递过来的数据信息,并且要等到信息量接收到一定的程度的时候,我们对客户端的信息进行分析处理,最后才能知道客户端的请求内容。如果自己做这个缓冲容器,恐怕是需要花费很多的时间,而Libevent已经给我们设计了Evbuffer,我们可以直接使用Evbuffer缓冲容器来满足我们的业务需求。
evbuffer结构:

libevent的缓冲是一个连续的内存区域,其处理数据的方式(写数据和读数据)更像一个队列操作方式:从后写入,从前
读出。evbuffer分别设置相关指针(一个指标)用于指示读出位置和写入位置。其大致结构如图:

orig_buffer指向由realloc分配的连续内存区域,buffer指向有效数据的内存区域,totallen表示orig_buffer指向的内存
区域的大小,misalign表示buffer相对于orig_buffer的偏移,off表示有效数据的长度。
下面是一些基础的和最常用的API,详细的API设计,还是请翻看官方网站:
1.  创建和销毁Evbuffer

2. 线程锁

3. 检查buffer长度,比较常用

返回的是buffer中的字节数。

4. 向buffer中添加数据,常用

这个函数添加data处的datalen字节到buf的末尾,成功时返回0,失败时返回-1。

这个函数修改缓冲区的最后一块,或者添加一个新的块,使得缓冲区足以容纳datlen字节,而不需要更多的内存分配。

除了将数据移动到目标缓冲区前面之外,这两个函数的行为分别与evbuffer_add()和evbuffer_add_buffer()相同。
使用这些函数时要当心,永远不要对与bufferevent共享的evbuffer使用。这些函数是2.0.1-alpha版本新添加的。

5. 删除和移动buffer中的内容

evbuffer_remove()函数从buf前面复制和移除datlen字节到data处的内存中。如果可用字节少于datlen,函数复制所有字节。失败时返回-1,否则返回复制了的字节数。

evbuffer_add_buffer()将src中的所有数据移动到dst末尾,成功时返回0,失败时返回-1。
evbuffer_remove_buffer()函数从src中移动datlen字节到dst末尾,尽量少进行复制。如果字节数小于datlen,所有字节被移动。函数返回移动的字节数。
evbuffer_add_buffer()在0.8版本引入;evbuffer_remove_buffer()是2.0.1-alpha版本新增加的。

6. 搜索buffer中的内容,常用

结构evbuffer_ptr中的pos为偏移量,如果为-1则没查询到,大于-1,则搜索到了匹配的位置。
1. evbuffer_search()函数在缓冲区中查找含有len个字符的字符串what。函数返回包含字符串位置,或者在没有找到字符串时包含-1的evbuffer_ptr结构体。如果提供了start参数,则从指定的位置开始搜索;否则,从开始处进行搜索。
2. evbuffer_search_range()函数和evbuffer_search行为相同,只是它只考虑在end之前出现的what。
3. evbuffer_search_eol()函数像evbuffer_readln()一样检测行结束,但是不复制行,而是返回指向行结束符的evbuffer_ptr。如果eol_len_out非空,则它被设置为EOL字符串长度。
7. 面向行的读取
很多互联网协议都是基于行的。evbuffer_readln()函数从evbuffer前面取出一行,用一个新分配的空字符结束的字符串返回这一行。如果n_read_out不是NULL,则它被设置为返回的字符串的字节数。如果没有整行供读取,函数返回空。返回的字符串不包括行结束符。

1. EVBUFFER_EOL_LF:行尾是单个换行符(也就是\n,ASCII值是0x0A)
2. EVBUFFER_EOL_CRLF_STRICT:行尾是一个回车符,后随一个换行符(也就是\r\n,ASCII值是0x0D 0x0A)
3. EVBUFFER_EOL_CRLF:行尾是一个可选的回车,后随一个换行符(也就是说,可以是\r\n或者\n)。这种格式对于解析基于文本的互联网协议很有用,因为标准通常要求\r\n的行结束符,而不遵循标准的客户端有时候只使用\n。
4. EVBUFFER_EOL_ANY:行尾是任意数量、任意次序的回车和换行符。这种格式不是特别有用。它的存在主要是为了向后兼容。
例子:

8. 复制数据

evbuffer_copyout()的行为与evbuffer_remove()相同,但是它不从缓冲区移除任何数据。也就是说,它从buf前面复制datlen字节到data处的内存中。如果可用字节少于datlen,函数会复制所有字节。失败时返回-1,否则返回复制的字节数。
如果从缓冲区复制数据太慢,可以使用evbuffer_peek()。
使用Evbuffer优化后的例子

Util工具
Libevent还提供一些工具方法。这些方法可以简化我们的开发。
1. 时间处理函数

2. Socket API

3. 字符串

4. 安全的随机函数

附:一个客户端例子

 

 
参考链接:
 
 
 
 
 
 
 
 
 
 

Leave a Reply

Your email address will not be published.