确保干净的数据在企业内部流动就像监视汽车的油位和质量一样;您都不希望在任何一种情况下都变得“肮脏”,因为它所能做的只是使工作变得困难。干净数据可以描述为完整的,准确的,相关的,最新的,未损坏的和重复的,仅用于记录集,表,对象存储量或数据库中的所需备份目的。
存储干净的数据是企业进行准确分析的关键要素,但是许多企业仍然依靠手动且效率低下的流程来清理和准备数据。这是数据管理工具制造商Trifacta于5月17日发布的一项新调查的关键发现。
Trifacta知道这个市场。其数据准备平台可帮助数据分析人员探索,评估和完善数据以进行分析,并解决其业务中的重大问题。
这家位于旧金山的公司对近300名数据专业人士进行了一项全球数据准备调查,以确定阻碍组织使用数据和分析的挑战。
调查的主要发现包括:
过度依赖IT资源进行数据准备将使组织损失数十亿美元。65%的IT专业人员将一半或更多的时间用于数据质量保证,清理或准备工作。根据Glassdoor的薪资估算和IDC的估算,全球有1800万名IT运营和管理专业人员,企业每年在数据准备方面的支出约为5,000亿美元。
59%的受访者(IT专业人员和数据分析师)认为,组织中的大多数数据分析师都依赖IT资源来准备或访问数据。
83%的分析师认为,他们能够从对IT的依赖性降低的分析项目中获得更高的价值。
业务用户和IT之间不必要的迭代会加剧数据准备的成本。调查发现,依赖IT来准备数据的分析师经常要求修改其初始要求,这很可能是由于原始数据内容的意外发现所致。82%的分析师表示,他们定期根据新要求重新使用IT。其中包括11%的人说他们总是这样做。
Excel仍然是数据准备的主要工具:37%的数据分析师和30%的IT专业人员使用它比其他工具准备数据更多。Trifacta预测,依靠手动驱动的数据准备工具(如Excel)将继续延迟数据计划并阻止新的见解。
分析人员认识到,数据准备的耗时性对他们的组织有害:58%的人认为,花费在数据质量保证或数据清洗上的总时间花费了他们的组织金钱,而不是为组织带来价值。
数据分析师也花费太多时间准备数据:92%的人选择专注于另一种分析活动而不是数据准备,但65%的人至少花费一半的时间准备数据供分析使用。
关键数据有风险。尽管在当今的业务环境中,数据隐私问题到处都是,但仍有74%的数据分析人员承认,他们的个人计算机是存储数据的前三名之一,而56%的IT专业人员也这么说。
Trifacta对294位准备数据的个人进行了全球调查,其中179位IT专业人员为一组业务用户准备了数据,而115位数据分析师则为自己准备和/或分析数据。该调查于2018年4月4日至4月13日进行。