自引进IC封装开始，台湾半导体产业已发展40余年，近年来总产值已近20,000亿元新台币，在全世界占有一席之地。半导体产业竞争力来自于成本、良率及交货时间，其中良率更是一家公司有竞争力之所在。近年来自动化生产及物联网技术的发展，使得所有半导体制程相关的数据得以搜集与保存，这些数据包含产品数据、机台数据、量测数据、缺陷机数据、晶圆接受度测试数据及晶圆测试数据，如何有效的使用这些大数据数据一直是半导体产业重要的课题之一。除了提升产品良率之外，产品/制造流程缺陷追踪、供应计划、提升能源效率等等都可以利用大数据分析提升公司竞争力。

处理这些数据主要可分成三个步骤：数据前处理、数据分析、验证与评估。在数据前处理时必须先修正数据错误，常见的数据错误有以下两种：

1.数据出现异常值。透过盒须图可轻易的分析出异常值，通常发生的在设备工程师在调整机台的时候或是由其他外在因素造成，因此这样的值通常直接删除。

2.数据出现遗漏值。因侦测设备的限制，有时数据会有不完整的情况，处理这样的状况可透过补值的方式（内插法、平均法等）回填可能的数据或直接删除该笔数据。

因每种数据的性质与内容不同，为有效使用这些数据，将数据库整合为必要的步骤。如何整合这些数据库首先需考量实际问题需求，再来考量数据库数据的型态，例如机台数据为连续型数据、缺陷机数据为离散型数据，因应不同的数据型态必须选择不同的方式去做合并。

在数据分析处理上，常见的方式可分成以下几种方式：

1.利用数据分群演算法，例如K-means演算法、阶层式分群演算法将原始数据分群。

2.将分群好的数据透过决策树找出造成问题发生的可能因子，或透过机器学习演算法，例如SVM建立模型，预测问题是否会发生，藉此实作出预警系统。

数据分析完之后必须评估结果是否符合现实以避免过适现象。在此步骤往往会发生分析结果和过往经验不一致的情况，除了花许多时间与工程师沟通确认之外，还需找不同的数据集交互验证，已确保数据分析方式是可行的。

在处理大量的数据时面临到许多的挑战，例如：传统的分析工具与方法通常适用在小规模的数据上，当数据量大且复杂时往往失去其效用、分析数据需耗费大量的计算时间，如何快速的处理大量数据是一项大的挑战。近年来已有一些工具可解决以上的问题，例如：MLlib即可支援一些机器学习的套件在Spark平台、RHadoop及SparkR套件可支援R的分析工具在Hadoop及Spark平台上。除了在分析数据时面临的挑战之外，TATA Consultancy Services（TCS）顾问公司在2013年从其他面向提出在处理大数据数据时面临的许多挑战，举例来说：数据工程师需取得部门经理的高度信任、对于不同的商业决策需决定该使用哪些数据、利用大数据分析帮忙部门经理做决策等等，以上的问题待管理相关的人员来解决。

对于半导体产业来说，透过大数据数据分析历史数据，挖掘其中有用的资讯以提升公司竞争力是非常有效的一种方式。科技部与台积电在2014年下半年就举办了相关的比赛，以此发掘半导体相关数据的各种有用资讯。相信往后会有越来越多的人力与资源投入这个领域，让半导体产业迈入新的时代。

编辑点评：反观安防产业，如今安防大数据也开始普遍应用于公安刑侦、智能交通等领域，通过卡口数据统计分析、特定场合的人脸识别等技术实现安防数据的高效利用，并且在智能前端等应用也是近来技术探讨的热点。作为一项热门的技术，大数据分析如何在安防整体解决方案中大放异彩，并成功应用于更广阔的领域，是今后安防技术结合视频监控业务不断拓宽边界的制胜法宝。