分批次处理海量数据

admin12个月前 (03-25)it知识830

在处理海量数据时,使用 setTimeout 分批次处理可以避免阻塞主线程,提升页面响应性。以下是分步骤的解决方案和代码示例:

方法思路

  1. 数据分块‌:将大数据拆分成多个小批次(如每批100条)。

  2. 异步处理‌:使用 setTimeout 在每批次处理结束后,让出主线程执行其他任务。

  3. 递归调用‌:处理完当前批次后,递归调用下一批次处理,直到完成。

function processInBatches({ data, batchSize, processBatch, onFinish }) {    let currentIndex = 0;    function nextBatch() {        if (currentIndex >= data.length) {            if (onFinish) onFinish();            return;        }        // 获取当前批次数据        const batch = data.slice(currentIndex, currentIndex + batchSize);        // 处理当前批次        processBatch(batch, currentIndex);        currentIndex += batchSize;        // 使用 setTimeout 启动下一批次        setTimeout(nextBatch, 0);    }    // 开始处理    nextBatch();}// 使用示例const largeData = Array.from({ length: 10000 }, (_, i) => i); // 模拟1万条数据processInBatches({    data: largeData,    batchSize: 100, // 每批处理100条    processBatch: (batch) => {        console.log('处理批次:', batch);        // 这里执行实际的数据处理逻辑        batch.forEach(item => {            // 处理每条数据,例如更新DOM或进行计算        });    },    onFinish: () => {        console.log('所有数据处理完成!');    }});


标签: 分享IT知识

相关文章

海外东经--山海经

 海外自东南陬至东北陬者。  (长差)丘,爰有遗玉、青马、视肉、杨柳、甘华。甘果所生,在东海。两山夹丘,上有树木。一曰嗟丘。一曰百果所在,在尧葬东。  大人国在其北,为人大,坐而削船。一曰在(长差)丘...

如何利用ai 挣钱

以下是2025年普通人利用AI技术实现创收的主流方式,涵盖多个领域且实操性强:一、内容创作类‌AI图文生成‌通过ChatGPT、火山写作等工具批量生成自媒体文章/短视频脚本,调整20%内容规避平台检测...

使用 Vue 3 + TypeScript + Pinia 的简单项目

以下是一个使用 Vue 3 + TypeScript + Pinia 的简单项目示例,我们将创建一个待办事项(Todo List)应用:1. 创建项目bash npm create&nbs...

人工智能能拥有人一样的智慧吗

一、本质差异:AI与人类智慧的核心区别‌技术基础与能力边界‌人工智能的“智慧”源于算法与数据,擅长处理结构化信息并执行预设规则下的任务(如医学影像分析、语言生成等),但缺乏自主意识与情感理解能力‌人类...

后端懒加载示例(以分页加载数据为例)

场景描述‌假设有一个博客系统,每页显示10篇文章,用户滚动到底部时加载下一页的文章。‌前端请求代码(使用Fetch API)let page = 1; const&nb...