时间:2021-05-19
最近再做一个需求,就是对站点的一些事件进行埋点,说白了就是记录用户的访问行为。那么这些数据怎么保存呢,人家点一下保存一下?显然不合适,肯定是需要批量保存,提高效率。
首先,我想到的是Dictionary,对于C#中的Dictionary类相信大家都不陌生,这是一个Collection(集合)类型,可以通过Key/Value(键值对的形式来存放数据;该类最大的优点就是它查找元素的时间复杂度接近O(1),实际项目中常被用来做一些数据的本地缓存,提升整体效率。Dictionary是非线程安全的类型,可以实现先添加到内存当中,在批量保存进去数据库。
1、定义一个Dictionary。
private readonly Dictionary<string, Tuple<ObjectInfo, object>> _storage = new Dictionary<string, Tuple<ObjectInfo, object>>(StringComparer.OrdinalIgnoreCase);2、添加元素,操作的时候需要对其进行线程安全处理,最简单的方式就是加锁(lock)。
public bool SaveObject<T>(string path, T value) where T : class { if (String.IsNullOrWhiteSpace(path)) throw new ArgumentNullException("path"); lock (_lock) { _storage[path] = Tuple.Create(new ObjectInfo { Created = DateTime.Now, Modified = DateTime.Now, Path = path }, (object)value); if (_storage.Count > MaxObjects) _storage.Remove(_storage.OrderByDescending(kvp => kvp.Value.Item1.Created).First().Key); } return true; }3、定义一个队列,定时消费日志。
public DefaultEventQueue(ExceptionlessConfiguration config, IExceptionlessLog log, ISubmissionClient client, IObjectStorage objectStorage, IJsonSerializer serializer, TimeSpan? processQueueInterval, TimeSpan? queueStartDelay) { _log = log; _config = config; _client = client; _storage = objectStorage; _serializer = serializer; if (processQueueInterval.HasValue) _processQueueInterval = processQueueInterval.Value; _queueTimer = new Timer(OnProcessQueue, null, queueStartDelay ?? TimeSpan.FromSeconds(2), _processQueueInterval); }这里删除的时候也需要lock 操作。
public bool DeleteObject(string path) { if (String.IsNullOrWhiteSpace(path)) throw new ArgumentNullException("path"); lock (_lock) { if (!_storage.ContainsKey(path)) return false; _storage.Remove(path); } return true; }public IEnumerable<ObjectInfo> GetObjectList(string searchPattern = null, int? limit = null, DateTime? maxCreatedDate = null) { if (searchPattern == null) searchPattern = "*"; if (!maxCreatedDate.HasValue) maxCreatedDate = DateTime.MaxValue; var regex = new Regex("^" + Regex.Escape(searchPattern).Replace("\\*", ".*?") + "$"); lock (_lock) return _storage.Keys.Where(k => regex.IsMatch(k)).Select(k => _storage[k].Item1).Where(f => f.Created <= maxCreatedDate).Take(limit ?? Int32.MaxValue).ToList(); }总结
1、利用Dictionary。多线程添加数据到内存;
2、达到一定量的时候,批量保存数据。
3、使用lock ,保证Dictionary操作安全。
到此这篇关于巧用Dictionary实现日志数据批量插入的文章就介绍到这了,更多相关Dictionary实现日志数据批量插入内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
文章首先介绍三种JDBC批量插入编程方法,进行比较,具体内容如下JDBC批量插入主要用于数据导入和日志记录因为日志一般都是先写在文件下的等。我用Mysql5.1
本文实例讲述了C#实现SQL批量插入数据到表的方法。分享给大家供大家参考,具体如下:#region帮助实例:SQL批量插入数据多种方法//////SqlBulk
项目(nodejs)中需要一次性插入多笔数据到数据库,数据库是mysql的,由于循环插入的性能太差,就像使用批量插入的方法提高数据的插入性能。批量插入的数据库的
本文实例讲述了Yii框架批量插入数据扩展类的简单实现方法。分享给大家供大家参考,具体如下:MySQLINSERT语句允许插入多行数据,如下所示:INSERTIN
在WEB项目开发过程中有时会碰到批量插入数据到数或者是将EXCEL文件据入到数据库中.为了方便实现可以先将EXCEL导入到GRIDVIEW中然后一次批量插入.实