领域自适应学习算法及其应用研究

【摘要】传统的机器学习假定训练域与测试域独立同分布，将由训练数据集得到的模型直接应用于测试集。但在实际应用中，这种假设并不一定成立，若训练域与测试域分布存在差异，则传统机器学习的性能将会大大降低，故领域自适应学习得以提出，其目标是在领域间建立桥梁，提高测试域预测性能，并广泛应用于解决现实世界中的分类、回归、概率密度估计等机器学习问题。目前，许多国内外专家学者对领域适应学习进行了深入的研究，并获得了许多重要的研究成果，且广泛应用于实际生产中，但仍有许多问题需要进一步的探索和研究。本课题主要从概率密度估计、支持向量域描述、分类、回归等4个方面进行深入的领域自适应学习研究。主要内容如下：1、基于最小包含球的领域自适应学习。相同应用领域，不同时间、地点或设备检测到的数据域不一定完整。针对如何进行源域与目标域间知识传递的问题，在支持向量域描述、分类与回归等问题在数学模型上均可等价于中心约束最小包含球的前提下，首次提出相似领域的概率密度差可由两域最小包含球中心点表示，且其上限值与半径无关的定理。基于此定理，提出一种新颖的领域自适应算法，算法中心思想是先将各算法的数学模型转换成其各自等价的最小包含球模型，再利用源域最小包含球中心点对目标域最小包含球中心点进行校正，从而提高目标域机器学习的性能。这种传递中心点，即源域知识的领域自适应算法具有源域数据隐私保护的优点，且新算法仍等价于中心约束最小包含球的理论证明，使所提算法可利用核心集技术解决大规模数据集问题。实验结果表明，这种领域自适应算法可弥补目标域缺失数据的不足，大大提高算法性能。2、基于SVM的领域间迁移学习算法。当与某领域相关的新领域出现时，标注这个新领域样本可能代价昂贵，而丢弃所有旧领域数据又显得十分浪费。故提出基于SVM算法的迁移学习新算法TL-SVM，其主要思想是SVM分类器由(w,b)组成，若两领域相关，则两域分类器各自的w值应相近，通过训练目标域少量已标签数据和学习源领域的知识ws来为目标域构建一个高质量的分类模型，实现领域间的知识迁移学习。该方法继承了基于经验风险最小化的最大间隔SVM的优点，又弥补了传统SVM不能进行知识迁移的缺陷。将上述理论成果进一步应用于基于密度差(DifferenceOfDensity,DOD)思想的L2核分类器。L2核分类器算法具有良好的分类性能及稀疏性，然而其训练域与测试域独立同分布的假设限制了其应用范围。针对此不足，在L2核分类器的数学模型等价于变形SVM的理论前提下，对其等价的变形SVM进行知识迁移学习，提出具有领域间迁移学习能力的L2核分类器，该算法既保持了L2核分类器算法良好的分类性能，又能处理数据集缓慢变化及训练集在特定约束条件下获得导致训练集和未来测试集分布不一致的问题。3、基于浓缩集概率密度估计(Reducedsetdensityestimation,RSDE)算法的领域自适应学习。RSDE算法是一种基于核的密度估计器，它仅使用数据样本中的一小部分的线性组合来表示概率密度估计式，与传统ParzenWindow概率密度估计法相比，极大降低计算复杂度的同时实现了数据浓缩的目的，但该算法必须满足训练集与测试集独立同分布条件。本文提出一种新颖的基于RSDE算法的领域自适应概率密度估计方法A-RSDE，通过学习源域(训练域)概率密度函数p(x;θ1)，使目标域(测试域)概率密度估计函数q(x;θ2)最优逼近真实密度函数q(x)的同时，与源域概率密度函数p(x;θ1)也最优逼近，达到领域自适应学习目的；并用基于近似最小包含球的核心集快速算法求解A-RSDE，将其应用于大数据集密度估计。上述概率密度函数均可看作密度估计线性组合空间上的概率密度估计式，在此基础上进一步提出密度估计线性组合空间概念，指出若需求线性组合空间内的密度估计函数，可由高斯函数为基函数的线性组合在ISE标准下逼近，并进一步提出密度估计线性组合空间的近似框架。该框架的优势在于可直接对概率密度线性组合函数进行估计而不必依次估计各域的密度函数，与传统概率密度估计法相比具有更好地精度；其参与运算的数据规模为l，l值远小于样本总数，适用于大规模数据集；该框架可应用于分类、数据浓缩、随机变量间的独立性检测、回归模型变量选择、条件概率密度估计等；若使该线性组合空间逼近某已知空间，可用于源域与目标域近似度估计，适用于多源领域自适应学习。
【作者】许敏；
【导师】王士同；
【作者基本信息】江南大学，轻工信息技术与工程，2014，博士
【关键词】领域自适应；最小包含球；核心集；支持向量域描述；支持向量机；L2核分类器；浓缩集概率密度估计；密度估计线性组合空间；

【参考文献】
[1]赵昀.Mir-29a对胶质母细胞瘤LN229及u251细胞株生长及侵袭性的影响研究[D].广西医科大学,肿瘤学（专业学位）,2013,硕士.
[2]周康,王艳阳,毛汉平.异机种数据通信在板坯连铸机自控系统中的实现[J].冶金自动化,1998,01:26-28+51.
[3]孙丽萍.维吾尔族英语专业大学生心理语言距离和英语学习动机的相关性研究[D].浙江大学,外国语言学及应用语言学,2014,硕士.
[4]李倩.北京市空气花粉污染的研究[Ⅰ][D].首都师范大学,植物学,2004,硕士.
[5]吴志宏.遥测PCM信号源的设计与实现[D].中北大学,测试计量技术及仪器,2014,硕士.
[6]吴谦.大屏智能手机背面触摸手势交互体验设计研究[D].湖南大学,设计艺术学,2014,硕士.
[7]韩耀胜男.集体建设用地使用权流转的法律规制[D].西南政法大学,民商法学（专业学位）,2012,硕士.
[8]臧小彪.SNP rs3825214与中国汉族人群心房颤动关系研究[D].大连医科大学,内科学,2012,硕士.
[9]张金玲.Mg-Mn-Ca合金的显微组织、力学性能及耐蚀性能研究[D].吉林大学,材料学,2014,硕士.
[10]韩亮亮.景观设计中人文尺度的研究[D].武汉工业学院,农村与区域发展,2012,硕士.
[11]赵丽坤.工程项目综合集成化管理模式研究[D].河北工业大学,管理科学与工程,2004,硕士.
[12]周敏.金代苏轼诗词的传播方式研究[D].沈阳师范大学,中国古代文学,2013,硕士.
[13]康静.基于绩效评价的城市供水企业价格形成机制研究[D].首都经济贸易大学,企业管理,2014,硕士.
[14]朱俊阳.基于新农村建设的豫东乡村庭院环境设计研究[D].湖南工业大学,设计艺术学,2012,硕士.
[15]王朝硕.基于TAO的实时监控系统与MIS系统互连的研究[D].华北电力大学（河北）,通信与信息系统,2004,硕士.
[16]姜月.上海医疗卫生资源配置现状与效率研究[D].上海工程技术大学,社会保障,2012,硕士.
[17]李少春.运用小组活动培养非英语专业大学生的英语口语能力[D].杭州师范大学,课程与教学论,2007,硕士.
[18]李晶.顺应论指导下美剧《摩登家庭》的幽默字幕翻译[D].华中师范大学,英语语言文学,2012,硕士.
[19]廖静.论当代中国流行歌词“古典化”现象[D].华侨大学,中国语言文学,2014,硕士.
[20]付三强.西德烧结自动化一例[J].冶金自动化,1991,02:22-24+58.
[21]布暹.悬浮填料氧化沟工艺处理城市污水的试验研究[D].重庆大学,环境工程,2014,硕士.
[22]王亚嫔.基于DSP的二相混合式步进电机多细分驱动器的研究[D].浙江工业大学,2009.
[23]沈银河.高光谱图像亚像元级目标检测的非线性方法研究[D].杭州电子科技大学,计算机应用技术,2011,硕士.
[24]杨希芹.新课程下高中语文作业存在的问题与应对策略[D].鲁东大学,学科教学（专业学位）,2013,硕士.
[25]李明毅,惠晓峰.上市公司信息披露与资本成本:来自中国证券市场的经验证据[J].管理学报,2008,01:88-95+127.
[26]程霖,欧阳杰,赵志明.喷混凝土水化热对隧道温度场的影响[J].山西建筑,2015,07:165.
[27]壮荣.安氏Ⅱ~1类错牙合拔牙矫治后牙弓形态变化的计算机辅助分析研究[D].第四军医大学,口腔临床医学,2014,硕士.
[28]冯祖仁,吕娜,李良福.基于最大后验概率的图像匹配相似性指标研究[J].自动化学报,2007,01:1-8.
[29]李惠.高职院校职业指导教师队伍建设研究[D].河北师范大学,职业技术教育学,2012,硕士.
[30]吴宁燕.红鱼粉替代白鱼粉对中华鳖饲料性能的影响[D].河北师范大学,动物学,2012,硕士.
[31]王锡海.基于SCP范式的陕西省煤炭产业组织研究[D].西安科技大学,产业经济学,2013,硕士.
[32]樊治英.大蒜油联合顺铂诱导人腺样囊性癌细胞株ACC-M凋亡的研究[D].遵义医学院,口腔临床医学（专业学位）,2014,硕士.
[33]黄文怡.基于REA的近岸海域溢油对海洋生态系统服务功能损害评估[D].厦门大学,海岸带综合管理,2014,硕士.
[34]相焕伟.协商行政：一种新的行政法范式[D].山东大学,宪法学与行政法学,2014,博士.
[35]余淼.大连农村小学心理健康教育现状与有效实施途径研究[D].黑龙江大学,教育管理,2013,硕士.
[36]谢茜.非盟的和平与安全框架[D].外交学院,外国语言学与应用语言学,2014,硕士.
[37]唐先伟.3DTV系统的立体视频质量评价方法研究[D].宁波大学,通信与信息系统,2014,硕士.
[38]李晓乾.河北永年传统杨、武氏太极拳健身功效比较研究[D].河北师范大学,民族传统体育学,2014,硕士.
[39]田春雨.天然气内燃式定压加热发电系统的研究[D].内蒙古科技大学,控制工程,2014,硕士.
[40]张学平.会计诚信问题研究[D].四川大学,2004.
[41]李辉.miRNA-720对TNF-α诱导的人脐静脉内皮细胞凋亡的作用及机制[D].中南大学,临床医学,2013,博士.
[42]翟天云.中国商标淡化争议的符号语言学分析[D].广东外语外贸大学,外国语言学及应用语言学,2013,硕士.
[43]李超顺,周建中,杨俊杰,李清清,罗志猛.基于混合模糊聚类分析的汽轮发电机组振动故障诊断[J].电力系统自动化,2008,05:80-84.
[44]郑怡文1　白云晖2　彭超3.硅微陀螺仪的正交误差控制分析[J].电子技术与软件工程,2015,07:143-144.
[45]严又生,宜明理,魏新,万文曼,常连吉.JL油田井间地震测量及纵、横波速度层析成像[J].石油地球物理勘探,1998,06:749-757+824.
[46]杨建军.某购物中心工程质量管理研究[D].天津大学,工程管理,2013,硕士.
[47]刘夏.面对现实的精神[D].中央美术学院,美术学,2013,硕士.
[48]陆峰.利用PB的数据窗口属性直接访问数据库中的数据[J].金融电子化,2001,09:47-48.
[49]梁智文.我国公益性文化事业发展研究[D].郑州大学,马克思主义基本原理,2013,硕士.
[50]胡寿松,周川,胡维礼.基于神经网络的模型跟随鲁棒自适应控制[J].自动化学报,2000,05:623-629.