公司项目中经常设计到串口通信,TCP通信,而且大多都是实时的大数据的传输,然后大家都知道协议通讯肯定涉及到什么,封包、拆包、粘包、校验……什么鬼的概念一大堆,说简单点儿就是要一个高效率可复用的缓存区。按照码农的惯性思维就是去百度、谷歌搜索看有没有现成的东西可以直接拿来用,然而我并没有找到,好吧不是很难的东西自己实现一个呗。开扯……
为什么要用环形队列?
环形队列是在实际编程极为有用的数据结构,它有如下特点:
它是一个首尾相连的FIFO的数据结构,采用数组的线性空间,数据组织简单。能很快知道队列是否满为空。能以很快速度的来存取数据。
因为有简单高效的原因,甚至在硬件都实现了环形队列。
C#完全实现(可直接使用)
鄙人新手这份代码肯定有不足之处,望大家指出交流,涉及到的多线程同步问题请调用者完成,不废话直接上代码。
public class RingBufferManager { public byte[] Buffer { get; set; } // 存放内存的数组 public int DataCount { get; set; } // 写入数据大小 public int DataStart { get; set; } // 数据起始索引 public int DataEnd { get; set; } // 数据结束索引 public RingBufferManager(int bufferSize) { DataCount = 0; DataStart = 0; DataEnd = 0; Buffer = new byte[bufferSize]; } public byte this[int index] { get { if (index >= DataCount) throw new Exception("环形缓冲区异常,索引溢出"); if (DataStart + index < Buffer.Length) { return Buffer[DataStart + index]; } else { return Buffer[(DataStart + index) - Buffer.Length]; } } } public int GetDataCount() // 获得当前写入的字节数 { return DataCount; } public int GetReserveCount() // 获得剩余的字节数 { return Buffer.Length - DataCount; } public void Clear() { DataCount = 0; } public void Clear(int count) // 清空指定大小的数据 { if (count >= DataCount) // 如果需要清理的数据大于现有数据大小,则全部清理 { DataCount = 0; DataStart = 0; DataEnd = 0; } else { if (DataStart + count >= Buffer.Length) { DataStart = (DataStart + count) - Buffer.Length; } else { DataStart += count; } DataCount -= count; } } public void WriteBuffer(byte[] buffer, int offset, int count) { Int32 reserveCount = Buffer.Length - DataCount; if (reserveCount >= count) // 可用空间够使用 { if (DataEnd + count < Buffer.Length) // 数据没到结尾 { Array.Copy(buffer, offset, Buffer, DataEnd, count); DataEnd += count; DataCount += count; } else // 数据结束索引超出结尾 循环到开始 { System.Diagnostics.Debug.WriteLine("缓存重新开始...."); Int32 overflowIndexLength = (DataEnd + count) - Buffer.Length; // 超出索引长度 Int32 endPushIndexLength = count - overflowIndexLength; // 填充在末尾的数据长度 Array.Copy(buffer, offset, Buffer, DataEnd, endPushIndexLength); DataEnd = 0; offset += endPushIndexLength; DataCount += endPushIndexLength; if (overflowIndexLength != 0) { Array.Copy(buffer, offset, Buffer, DataEnd, overflowIndexLength); } DataEnd += overflowIndexLength; // 结束索引 DataCount += overflowIndexLength; // 缓存大小 } } else { // 缓存溢出,不处理 } } public void ReadBuffer(byte[] targetBytes,Int32 offset, Int32 count) { if (count > DataCount) throw new Exception("环形缓冲区异常,读取长度大于数据长度"); Int32 tempDataStart = DataStart; if (DataStart + count < Buffer.Length) { Array.Copy(Buffer, DataStart, targetBytes, offset, count); } else { Int32 overflowIndexLength = (DataStart + count) - Buffer.Length; // 超出索引长度 Int32 endPushIndexLength = count - overflowIndexLength; // 填充在末尾的数据长度 Array.Copy(Buffer, DataStart, targetBytes, offset, endPushIndexLength); offset += endPushIndexLength; if (overflowIndexLength != 0) { Array.Copy(Buffer, 0, targetBytes, offset, overflowIndexLength); } } } public void WriteBuffer(byte[] buffer) { WriteBuffer(buffer, 0, buffer.Length); } }
调用实例
生产
int len = sConn.Receive(receiveBuffer, 0, receiveBuffer.Length, SocketFlags.None, out se); if (len <= 0) throw new Exception("disconnect.."); if (len > 0) { lock (LockReceiveBuffer) { while (len + receiveBufferManager.DataCount > MAX_BUFFER_LEN) // 缓存溢出处理 { Monitor.Wait(LockReceiveBuffer,10000); } receiveBufferManager.WriteBuffer(receiveBuffer, 0, len); Monitor.PulseAll(LockReceiveBuffer); } }
消费
lock (LockReceiveBuffer) { freame_byte = new byte[frameLen]; receiveBufferManager.ReadBuffer(freame_byte, 0, frameLen); receiveBufferManager.Clear(frameLen); }
验证
TCP大数据连续测试一周没出现问题内存问题。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。
环形缓冲区接口 结构体 struct rt_ringbuffer 环形缓冲区控制块 更多... 枚举 函数 void rt_ringbuffer_init (struct rt_ringbuffer *rb, rt_uint8_t *pool, rt_int16_t size) 初始化环形缓冲区 void rt_ringbuffer_reset (struct rt_rin
环形块状缓冲区接口 结构体 struct rt_rbb_blk rbb 中的块 更多... struct rt_rbb_blk_queue 块队列。这些块在队列中,其 buffer 地址是连续的 更多... struct rt_rbb 环形块状缓冲区,简称 rbb 更多... 枚举 函数 void rt_rbb_init (rt_rbb_t rbb, rt_u
在循环队列的数组实现中,如果在第一个元素之前指向一个插槽,而在最后一个元素之后指向一个插槽,则会面临如何识别队列是满还是空的问题。 为了解决这个问题,我们要么使用计数器,要么在缓冲区中浪费一个空间。 我在想下面的方法。请纠正我的错误,如果没有请让我知道这是一个更好/更差的解决方案比以上。 null
问题内容: 我有一个流时间序列,我有兴趣保留最后4个元素,这意味着我希望能够弹出第一个元素并将其添加到末尾。本质上我需要一个环形缓冲区。 哪个Java集合最适合此用途?向量? 问题答案: 考虑CircularFifoBuffer Apache的Common.Collections。与Queue不同,你不必维护基础集合的有限大小,只要达到极限就可以包装它。 由于以下属性,CircularFifoBu
环形缓冲区在处理异步IO时非常实用。它们可以在一端接收随机长度和区间的数据,在另一端以相同长度和区间提供密致的数据块。它们是Queue数据结构的变体,但是它针对于字节块而不是一系列指针。这个练习中我打算向你展示RingBuffer的代码,并且之后你需要对它执行完整的单元测试。 #ifndef _lcthw_RingBuffer_h #define _lcthw_RingBuffer_h #inc
环型缓冲区是一种用于表示一个固定尺寸、头尾相连的缓冲区的数据结构,适合缓存数据流。 构造环型缓冲区 var ringBuffer = new RingBufferStream(); 函数原型 RingBufferStream(int capacity = 8192, bool exposable = true); 参数 描述 capacity 环状缓冲区的最大容量,为2的次方。如:传入12,则