多媒体搜索引擎

机器学习与数据挖掘样本准备样本准备对象分割对象在文档中可能只占很小比例用整个文档提取的特征含有大量噪声特征与特征提取使用什么样的特征？如何计算？如何进行预处理？……样本选择正负样本数可能严重失衡（1:10，1:100）样本可能包含噪声图像分割如何分割需要被分割成不同部分的对象有什么不同？第一类图像：前景与背景图像分割前景与背景分割假设：前景与背景亮度不同一个暗一个亮阈值分割阈值如何求最优分割阈值？图像分割前景与背景分割基于直方图的方法直方图：图像灰度级的离散概率密度函数如何发现这个点？图像分割前景与背景分割最大熵算法熵：物理含义：分布的“均匀性”越均匀，熵越大越不均匀，熵越小spspHs1log]255,0[图像分割前景与背景分割最大熵算法图像假设：前景/背景亮度不同直方图如同时包含前景和背景，则其熵将变小如只包含前景或背景，熵将变大把直方图分解成两部分，分别计算熵，两部分熵的和最大时为最佳分割阈值H1H221]255,0[maxargˆHHTs很强很完美？图像分割前景与背景分割最大熵算法图像噪声影响直方图0.00500.001000.001500.002000.002500.000.0050.00100.00150.00200.00250.00ih(i)NoisefreeLownoiseHighnoise图像分割前景与背景分割最大熵算法如何解决？图像分割前景与背景分割物体的分布区域是空间连续的相邻像素应该有相同的分类很可能是噪声如何利用这些信息?图像分割前景与背景分割松弛算法P(i):像素i是前/背景的概率ii1i2i3i4i5i6i7i881,...,~~iPiPFiPiPiPpixelmax/gigiPpixel像素值25581,...,~iPiPFiPyxjiPiPiPFiP,...,,...,~先有鸡？先有蛋？图像分割前景与背景分割先有鸡？先有蛋？恐龙象鸡蛋的恐龙蛋象鸡的恐龙更象一点的蛋再象一点的鸡……高产芦花鸡优质土鸡蛋……“鸡蛋同出”迭代优化EM算法图像分割前景与背景分割松弛算法初始化:迭代：iPiPpixel08111,...,iPiPFiPttt))(1)((~)(1ipiPiPtt?)(ip图像分割前景与背景分割松弛算法))(1()()(hdhshiPciPciq8181)(hhiqip同质奖励异质惩罚00反复迭代多次，直至收敛同等对待所有邻域图像分割前景与背景分割松弛算法待分割图像阈值分割松弛算法还有更高级、更复杂的算法图像分割前景与背景分割实际应用：指纹图像处理很强很完美？图像分割前景与背景分割实际图像并非一定有显著亮度/颜色差异可以是纹理差异可以是…没有差异！？有边缘线条画前/背景有多个物体还可能互相遮盖图像分割对象分割(ObjectSegmentation)把图像分解成对象“对象”：具有独立语义的图像区域人脸眼睛、鼻子、眉毛？人？不同应用有不同“粒度”图像分割对象分割人眼分割物体的方法边缘：人眼对边缘敏感通过边缘分割物体检测边缘边缘所围的区域为物体如何检测边缘？图像分割对象分割边缘检测边缘的数学模型灰度级一阶导数二阶导数图像分割对象分割边缘检测图像的一阶导数图像是二维的只能求偏导数结果为矢量梯度矢量yfxfGGFyx2122yxGGFmagf幅度：yxGGyxarctan,方向：图像分割对象分割边缘检测检测算子：用卷积对一阶偏导数的近似-1-1-1000111-101-101-101011-101-1-10-1-10-101011-1-2-1000121-101-202-101012-101-2-10-2-10-101012PrewittSobel水平垂直-45°+45°图像分割对象分割Sobel算子检测例很强很完美？图像分割对象分割边缘检测的问题噪声敏感导数反映的是变化噪声是高频的变化阶越高对噪声越敏感很少使用二阶导数基本上不考虑更高阶的导数图像分割对象分割边缘检测的问题不大可能总是检测出连续的边缘图像分割对象分割局部连接如果在很近的领域内像素的梯度幅度和方向都很相似，则连接这两个像素|f(x,y)–f(x’,y’)|T|(x,y)–(x’,y’)|A在同一边缘上的像素能连接的仍然很少只能在很小的局部进行连接(3x3,5x5)图像分割对象分割Hough变换把坐标空间变换到参数空间，检测峰值y=ax+bXYABab出现峰值任何可以化为参数方程的形状都可以检测“简化”的Hough变换：实际变换的理论更复杂图像分割对象分割边缘检测虽然可以使用大量技术，要获得完整的边缘并不容易边缘检测只作为图像分割和其它图像处理技术的辅助手段如何更好地进行分割？图像分割对象分割基于颜色、纹理特征的分割假设：对象和对象之间总要有差异要么颜色，要么纹理检测这种差异，即可进行分割原始图像特征图像聚类！机器学习！？图像分割对象分割基于颜色、纹理特征的分割使用RGB颜色作为特征，K-均值聚类算法纹理区域被分割分割过细必须指定类数图像分割对象分割基于颜色、纹理特征的分割Mean-Shift聚类~lazebnik/research/spring08/lec21_segmentation.ppt视频分割视频分割（shotdetection）视频是图像的时间序列在时间轴上应该分割成小的单元镜头：摄像机从打开到关闭所拍摄的一段视频镜头边界：两个镜头之间的边界镜头分割：分析视频，标记镜头边界本质上是一个聚类过程视频分割镜头分割镜头边界种类突变：前后帧分属不同镜头渐变：存在几个过渡帧视频分割镜头分割基本原理：比较一定距离的两帧差异，大于阈值则为镜头边界-如何计算帧间差异？如何决定最佳阈值？如何确定帧距离？……阅读论文