课程目录 · 全部课程 · 原始 PDF

安全信息管理与数据分析：第 201–207 页

安全信息管理与数据分析 课堂笔记
• 回答” 将来可能会发生什么”
注意
连续变量预测用时间序列模型； 离散结果预测用分类算法 （逻辑回归、 决策树） 。
安全领域中风险度属于离散结果，分类算法应用较多。
规范性分析
• 在预测基础上，通过优化算法和仿真模型，考虑资源约束和目标函数，提供最
优行动方案
• 回答” 应该怎么做”，直接支持决策制定
例
某物流公司用随机森林模型提前 7 天预测区域货运需求，结合规范性分析优化
运力分配，运输成本降低 18%，损失率提升 95%。类似双 11 大促时京东、淘宝
需预测各区域备货量并调配仓库，以提升消费者满意度。
数据模型的评估与优化
• 分类模型评估指标：准确率、精确率、召回率
• 回归模型：线性回归（一元、多元多次） ，综合考量解释性与计算效率
• 模型优化方法： 参数调优、 特征工程优化、 集成学习， 平衡模型复杂度与泛化能
力
• 优化后模型通过 API 接口和嵌入式方式部署到业务系统
• 定期评估模型漂移，通过再训练和重构确保长期有效性
例
天气预报也是一种模型，采集过去与现在的数据来预测未来天气，其模型庞大，
涉及多维参数、多个变量。
数据处理工具类别
• 电子表格工具：Excel、Google 表格，完成数据保存与分析
• 编程工具：Python、R 语言，处理大量数据
• 专用统计软件：SPSS、SAS，部分行业领域使用
• 大数据处理平台：Spark，覆盖从简单到复杂的数据处理需求
数据可视化工具
• 代码型工具：Python、R 语言相关库，灵活度高但学习成本大（需编程）
• 拖拽型工具：Tableau、Power BI，操作简单但定制化受限
工具选择策略
• 小型分析项目：优先 Excel 等工具，快速交付
• 复杂项目：Python + SQL
• 大量数据处理：数据库 + SQL 架构
• 企业级应用：选用相应企业级工具
Excel 数据处理功能
• 数据透视表：从多个表中摘取数据聚合到一块，实现数据聚合
• 条件格式：识别异常值（如通过条件语句判断大于 100 的值并标色）
• 删除重复值、数据验证：提升数据质量
Study Notes 201 / 207 先看条件，再套公式

安全信息管理与数据分析 课堂笔记
• 常用函数：IF 语句、VLOOKUP 查找符合条件的记录
• 图表功能：柱状图、折线图、散点图表示数据趋势与关系
SQL 结构化查询语言
• SELECT 语句：从指定表中选择符合条件的记录，列出变量
• 排序功能
• 高级查询：聚合求和（SUM） 、求平均、按分组分类、排名函数
Python 数据分析
• 语法比 C++ 更自然，内置函数包处理专门应用
• pandas：数据处理功能
• numpy：数值运算与数值处理
• 可用来构建图表、画图
数据可视化设计原则
• 数据墨水比最大化，避免歪曲
• 层次分明、一致性、简约性
• 确保可视化准确传达信息，数据本身成为焦点而非装饰
• 根据数据关系类型（比较、构成、分布、关联、趋势）选择合适的图表
例
比较类用柱状图，趋势类用折线图，关系类用散点图（多变量间关系） 。
Tableau 与 Power BI
• Tableau：table + au ，意为” 表的自动化/图表的自动化”，先连接数据库导入数
据，通过拖拽变量选择图表模板完成可视化
• Power BI： 商业应用领域使用广泛， 制作美观图表是求职与实习中的重要能力体
现
数据库与数据仓库
• 关系型数据库：最常用，建议课程设计、大作业结合开源的 MySQL
• 数据仓库：用于建立企业级数据存储
• 现代数据存储趋势： 数据不一定是结构化的， 包括文档型、 列、 图形、 图数据库
例
手机照片库管理：通过人像识别筛选某人的照片，或按拍摄地点（ GPS，如广
州）筛选，目前定位较粗放（以城市为单位） ；也可按时间轴（年、月）排列。
手机中上万张照片的查找体现了现代数据管理的需求。
大数据分析技术
• 大数据核心特征（5V） ：量大、速度快、多样性、真实性、价值
• 技术组成：分布式存储（数据分布在多台服务器/机器上）
大数据分析场景
• 实时用户行为分析： 电商个性化推荐， 分析购买习惯、 下单时间、 下单城市等特
征
• 海量日志处理： 涉及计算机安全管理， 分析登录记录， 识别未授权登录、 异常登
录行为，发现是否遭到攻击
Study Notes 202 / 207 先看条件，再套公式

安全信息管理与数据分析 课堂笔记
机器学习基础概念
• 机器学习分为监督学习、无监督学习和强化学习，三者区别在于是否有标签数
据及反馈机制
• 核心流程：理解特征、标签，进行模型训练与测试
• 需掌握过拟合、欠拟合的概念及解决方法
• 监督学习与无监督学习是两种主要学习状态
线性回归与逻辑回归
• 线性回归用于预测连续数值，逻辑回归用于分类问题
• 需理解两者的数学原理与适用场景
• 决策树和随机森林：掌握工作机制与参数调校方法
机器学习案例：客户信用评分模型
• 淘宝等平台使用逻辑回归算法，基于客户基本信息和交易数据构建信用评分模
型
• 通过 ROC 曲线评估模型性能
• 将客户分为 5 个信用等级，支持差异化信贷策略
• 信用分高的客户在很多场景可免押金，降低违约风险
文本数据分析
• 针对大量文本文件进行信息提取，类似 NLP 处理
• 文本清洗：去除特殊字符、停用词，进行标准化分词处理
• 通过词嵌入将文本转化为数字特征，适合机器学习模型输入
• 核心应用：情感分析、文本分类，实现自动化处理
例
餐饮连锁企业通过社交媒体评论情感分析，实时监控各门店口碑变化，识别出
服务态度、菜品新鲜度是影响评分的两大关键因素，针对性改进后整体评分提
升。
时间序列分析
• 理解时间序列的四大特征：趋势性 （长期变化方向） 、 季节性 （季度/月度规律） 、
周期性、随机性
• 经典模型：移动平均和指数平滑模型，适合短期预测
• ARIMA 模型通过差分处理非平稳序列
• 季节性模型用于处理季节特征数据
例
某能源公司用电量预测：通过分解识别趋势和周月双季节模式，构建模型组合
预测未来三个月用电量，误差控制在 5% 以内。
A/B 测试
• 本质是一种校验方法， 遵循随机分配、 样本量足够、 单一变量、 统计显著性等原
则
• 使用实验设计工具确定最小样本量，设计合理实验周期
• 避免外部因素干扰，确保测试结果可靠
Study Notes 203 / 207 先看条件，再套公式

安全信息管理与数据分析 课堂笔记
数据挖掘与知识发现
• 遵循 PM 数据挖掘流程
• 掌握关联数据挖掘、序列模式挖掘和异常检测技术
• 理解数据挖掘与传统数据分析的区别
关联规则与序列模式
• 利用支持度、置信度和提升度评估关联规则
• 序列模式分析发现时间有序的事件模式
例
购买尿布的客户 70% 也购买啤酒，体现关联购买行为。电商中” 牛奶加购物车
→ 收藏 → 购买” 是典型的转化路径。
例
购物篮分析发现牛奶和面包的关联规则，据此优化商品摆放位置，将关联性强
的商品相邻陈列，提升关联商品销售额 22%。
数据伦理与隐私保护
• 遵循数据最小化原则，仅收集必要数据
• 数据收集目的要与使用目的一致，限制数据使用范围
• 公平性和透明度：数据使用方法要可解释，确保不损害个人权益和社会公共利
益
注意
当前互联网环境中， 商家常无序收集大量不应收集的数据， 导致个人信息泄露。
我们常接到能直呼姓名或职业的骚扰电话，正是数据被泄露的体现。
隐私保护技术
• 数据匿名化、去标识化、假名化处理，减少身份暴露风险
• 差分隐私技术：在数据分析中加入适量噪声保护个体信息
• 联邦学习：实现数据可用不可见，平衡分析价值与隐私保护
数据合规
• 国家出台《个人信息保护法》 ，针对各行各业
• 扫码送礼等促销活动常伴随个人信息采集，后续推送广告甚至打包出售数据
例
新生儿出生后马上有人推销胎毛笔、 奶粉； 买房后马上有人上门推销装修——说
明数据通过某一商家泄露，与其他行业建立了关联。
数据驱动决策文化
• 包括管理层支持、资源投入、决策示范
• 数据素养普及：全员数据分析能力
• 跨部门协作和激励机制，形成自上而下的数据驱动行为氛围
• 通过小步快跑策略逐步推进
• 培养” 数据翻译官”：能透过数据看到背后含义，确保分析洞察转化为实际行动
Study Notes 204 / 207 先看条件，再套公式

安全信息管理与数据分析 课堂笔记
例
某零售企业数据驱动转型：建立企业数据中台打破数据孤岛，实施全员数据素
养培训，采用 OKR 机制将业务指标与数据指标绑定， 18 个月内决策周期缩短
40%，运营效率提升 25%。
数据分析学习路径与资源
• 必备数学基础：代数、微积分、概率与核心统计学知识
• 学习资源：Python、SQL、可视化工具
• Tableau Public 免费版：通过拖拽式操作快速建立仪表板
数据分析项目实战
• 项目流程：启动、需求分析、项目执行和监控、成果交付、知识转移
• 分析报告撰写与呈现
注意
报告呈现采用金字塔结构：结论先行、以上统下、归类分组、逻辑递进。
数据可视化呈现原则
• 视觉层次原则：突出关键信息
• 简化原则：去除非必要、有干扰的元素
• 一致性原则：颜色、字体、格式统一
• 数据故事化：通过数据洞察引发情感共鸣和行动共识
传统安全管理痛点
• 依赖人工巡检导致隐患识别滞后，某省应急管理厅数据显示传统模式下事故前
隐患发现率不足 35%
• 安全数据分散在各系统难以联动，存在数据孤岛现象，无法形成风险全景视图
• 经验驱动决策缺乏科学依据，导致 30% 的安全投入没有产生预期风险管控效果
数据分析赋能安全管理
• 通过实时数据采集和分析实现风险早发现，典型应用可使事故预警提前量延长
到 48 小时以上
• 构建全要素安全数据库， 打通设备、 环境、 能源多维度数据， 形成动态风险评估
模型
• 基于数据洞察优化资源配置
例
某央企应用后安全投入产出比提升 2.3 倍，事故率下降 54%。
政策要求与趋势
• 十四五国家应急体系规划：2025 年重点行业安全监管数字化率要达到 90%
• 应急管理部 2024 年新规：强制要求高危行业企业建立安全数据分析平台
• 地方政府专项补贴政策，推动中小企业数字化转型
实时监测与智能预警
• 通过物联网传感器、设备日志等实时数据采集，结合异常检测算法，实现生产
过程动态监控和隐患预警
Study Notes 205 / 207 先看条件，再套公式

安全信息管理与数据分析 课堂笔记
例
某大型化工企业在生产车间部署温度、压力、液位传感器，建立阈值预警模型，
数据超出安全范围时自动触发声光报警并推送到管理人员手机端。预警响应时
间从传统人工巡检 2 小时缩短到 5 分钟，2023 年重大设备故障预警准确率提升
至 92%。
例
某建筑集团利用 AI 视频分析技术， 通过行为识别算法判断是否佩戴安全帽、 高
空违规作业等，系统自动标记违规行为并抓拍截图。2024 年项目现场违规操作
发生率下降 67%。
风险评估与量化管理
• 基于历史数据和实时数据构建风险评估模型，实现危险源分级管控和预测性维
护
例
某煤矿企业整合近 10 年井下瓦斯浓度等数据， 通过机器算法识别瓦斯突出的关
键影响因素，建立风险等级评估矩阵，将矿井划分为高、中、低风险区。
例
某物流公司通过车载 GPS、行车记录仪收集驾驶员行为数据（急加速、疲劳驾
驶时长） ， 结合天气、 路况等外部数据构建风险评分模型， 对高风险驾驶员采取
强制培训和调岗措施，从源头杜绝风险。
事故溯源与根因分析
• 通过历史事故数据挖掘和过程回溯，定位事故本质原因，避免同类问题重复发
生
例
某制造业企业收集近三年设备维修记录、操作员动作日志、原材料硬度检测数
据，通过关联法则发现 83% 的模具卡涩与操作员未按规程预热模具和原材料硬
度偏差超过 ±0.5 高度相关，据此优化操作规程。
例
电力行业针对电缆接头过热引发停电事故，通过 SCADA 系统运行数据、电流
温度曲线和设备台账，使用时间序列分解法发现接头过热前两小时存在负荷波
动频率异常，加载负荷波动预警模块后，同类事故排查提前率提升 75%。
培训精准化与效果评估
例
某电子厂通过分析员工操作行为数据 （焊接工序失误率、 设备误触次数） ， 发现
新员工在静电防护步骤和紧急急停操作上错误率高达 35%。据此设计 VR 虚拟
现实模拟培训课程，重点强化高风险操作场景，培训后员工实操考核通过率从
62% 提升到 91%。
• 利用学习管理系统数据，跟踪员工培训参与度、考试分数及培训后三个月内现
场表现
Study Notes 206 / 207 先看条件，再套公式

安全信息管理与数据分析 课堂笔记
• 通过聚类分析将员工分为高风险低技能、低风险高技能等群体
• 高风险低技能者提供一对一导师带教， 低风险高技能者纳入安全讲师储备库， 培
训资源利用率提升 40%
应急响应与资源调度优化
例
矿山整合井下人员定位数据、逃生通道分布图、救援物资库存信息。发生透水
事故时，系统通过最短路径算法自动规划最优撤离路线，并计算各避难硐室可
容纳人数和剩余氧气量。2023 年成功将井下人员疏散时间从 45 分钟压缩到 22
分钟。
• 结合实时交通数据与历史事故数据，为危化品运输车辆规划路线
安全领域数据分析应用场景
• 人员不安全行为识别
• 应急处置和救援指挥优化
• 能源化工行业应用：石油化工、煤矿瓦斯、电力系统安全稳定控制
• 制造业、交通运输、矿山等行业应用
数据分析前沿趋势
• 增强技术：将 AI 融入分析工具，实现自动化洞察
• 跨领域数据融合
• 数据分析人才更强调领域知识与分析技能结合，即”T 型人才”
• 安全绩效改善是未来发展趋势
例
使用 Tableau 等工具制作分析图表，将不同数据展示整合为仪表板，实现多维
度数据可视化呈现。
Study Notes 207 / 207 先看条件，再套公式