分批次处理海量数据

在处理海量数据时,使用 setTimeout 分批次处理可以避免阻塞主线程,提升页面响应性。以下是分步骤的解决方案和代码示例:

方法思路

  1. 数据分块‌:将大数据拆分成多个小批次(如每批100条)。

  2. 异步处理‌:使用 setTimeout 在每批次处理结束后,让出主线程执行其他任务。

  3. 递归调用‌:处理完当前批次后,递归调用下一批次处理,直到完成。

function processInBatches({ data, batchSize, processBatch, onFinish }) {    let currentIndex = 0;    function nextBatch() {        if (currentIndex >= data.length) {            if (onFinish) onFinish();            return;        }        // 获取当前批次数据        const batch = data.slice(currentIndex, currentIndex + batchSize);        // 处理当前批次        processBatch(batch, currentIndex);        currentIndex += batchSize;        // 使用 setTimeout 启动下一批次        setTimeout(nextBatch, 0);    }    // 开始处理    nextBatch();}// 使用示例const largeData = Array.from({ length: 10000 }, (_, i) => i); // 模拟1万条数据processInBatches({    data: largeData,    batchSize: 100, // 每批处理100条    processBatch: (batch) => {        console.log('处理批次:', batch);        // 这里执行实际的数据处理逻辑        batch.forEach(item => {            // 处理每条数据,例如更新DOM或进行计算        });    },    onFinish: () => {        console.log('所有数据处理完成!');    }});


标签:

相关文章

马斯洛理论

生理需求是最低层次的需求,包括人类维持自身生存的最基本要求,包括饥、渴、衣、住、性、健康方面的需求。安全需求包括两个层次,一是归属的需要,即人都有一种归属于一个群体的感情,希望成为群体中的一员,并相互...

人工智能能拥有人一样的智慧吗

一、本质差异:AI与人类智慧的核心区别‌技术基础与能力边界‌人工智能的“智慧”源于算法与数据,擅长处理结构化信息并执行预设规则下的任务(如医学影像分析、语言生成等),但缺乏自主意识与情感理解能力‌人类...

前端常用的技术

一、核心基础技术HTML5 - 定义网页结构和语义化标签,支持多媒体与离线存储等特性‌CSS3 - 实现响应式布局(Flexbox/Grid)、动画和过渡效果‌JavaScript (ES6+) -...

前端开发中数组

前端开发中,数组是最基础且强大的数据结构之一。JavaScript提供了丰富的数组操作方法,可以满足各种开发需求。下面我将从基础操作、高阶函数、动态渲染、过滤搜索和表单处理五个方面,为您详细介绍前端数...

前端的知识

前端开发是一个涵盖广泛且快速发展的领域,以下是其核心知识体系的梳理:一、基础技术栈‌HTML5‌语义化标签(<header>、<section>等)和多媒体支持(<vid...

前端开发中常用的核心方法

以下是前端开发中常用的核心方法分类及说明:一、字符串处理‌补齐格式化‌padStart(2,'0')实现左侧补零(如1→01)‌padEnd(2,'0')实现右侧补零‌...