TBOX提供上层高度封装的传输池来进行客户端的并发批量下载、上传、文件复制、socket数据透传等io传输需求。
投递到transfer_pool传输池的所有任务都是异步并发处理的。如果对并发量要求不高的话,例如客户端应用,那么使用全局的tb_transfer_pool()就足够了。
全局的transfer_pool使用了全局的tb_aicp(),并且考虑到大部分客户端应用,并发量不是很高,因此对资源需求做了些限制,一般比较适合并发量小于100的场合。
如果需要高并发的情况,则可以通过tb_transfer_pool_init、tb_aicp_init手动创建:transfer_pool和aicp,指定aicp需要的并发量,来提高并发需求。
如果要对每个io传输更加灵活的控制,可以直接使用async_transfer,自己上层做管理就行了。
- // 传输信息回调函数
- static tb_bool_t tb_demo_transfer_done_func(tb_size_t state, tb_hize_t offset, tb_hong_t size, tb_hize_t save, tb_size_t rate, tb_cpointer_t priv)
- {
- // 计算进度
- tb_size_t percent = 0;
- if (size > 0) percent = (tb_size_t)((offset * 100) / size);
- else if (state == TB_STATE_OK) percent = 100;
- // 打印信息
- tb_trace_i("save[%s]: %llu, rate: %lu bytes/s, percent: %lu%%, state: %s", priv, save, rate, percent, tb_state_cstr(state));
- // 继续下载
- return tb_true;
- }
- // 投递几个http下载任务
- tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file1", "/tmp/a", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file2", "/tmp/b", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- // 投递几个https下载任务
- tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file3", "/tmp/c", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file4", "/tmp/d", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- // 投递几个文件copy任务
- tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/e", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file2", "/tmp/f", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- // 投递几个文件copy任务
- tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/g", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- // 在windows下投递文件copy任务
- tb_transfer_pool_done(tb_transfer_pool(), "c://xxxx/file2", "c://tmp/h", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- // 投递tcp socket传输任务
- tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1", "/tmp/i", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- // 投递udp socket传输数据到其他对方tcp socket服务器上
- tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1/?udp=", "sock://xxx.xxx.xxx.xxx", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
- /*! 投递异步io传输任务到传输池:iurl => ourl
- *
- * @param pool 传输池,默认可以使用全局的tb_transfer_pool(),也可以自己创建私有的pool
- * @param iurl 输入url
- * @param ourl 输出url
- * @param offset 源端开始传输的数据offset,一般只要传0就行了
- * @param rate 指定限速值,传0为默认无限速
- * @param done 传输信息回调函数,间隔1s调用一次
- * @param ctrl 控制参数设置回调函数,在开始传输前,对io的传输做一些参数控制
- * @param priv 用户传入的私有数据
- *
- * @return 投递成功:tb_true,投递失败:tb_false
- */
- tb_bool_t tb_transfer_pool_done(tb_transfer_pool_ref_t pool, tb_char_t const* iurl, tb_char_t const* ourl, tb_hize_t offset, tb_size_t rate, tb_async_transfer_done_func_t done, tb_async_transfer_ctrl_func_t ctrl, tb_cpointer_t priv);
其中对于传输参数控制的回调函数使用,可以参考TBOX提供的spider demo程序。