更全的杂志信息网

强人工智能与弱人工智能的伦理问题思考

更新时间:2009-03-28

1956年“人工智能”概念正式诞生。在其60余年的发展过程中高潮低谷几经波折。2015年,谷歌的Alpha Go战胜围棋高手李世石,再次拉开了高潮的序幕,这距离上次高潮已经过去近30年。

从技术层面上讲,此次高潮是在上世纪80年代第二次浪潮基础上形成的。因为第二次浪潮是以人工神经网络为主流,而这一次高潮的技术基础—深度学习,恰恰是人工神经网络的一个具体方法。确切地说,是基于人工神经网络(基于人工神经网络的机器学习方法)的深化,它比以往任何机器学习方法更高效地解决更复杂的任务。当然,计算能力的提升以及大数据技术的发展也是深度学习的性能得以展现的主要原因。

应用层面上,从语音识别、机器翻译到医疗诊断、自动驾驶,基于深度学习的应用在不断加深、不断成熟,甚至在很多方面已经开始超越人类。由于一些成熟的技术带来的巨大的利益诱惑,国内外主流的互联网公司,如谷歌、亚马逊、Facebook、百度、腾讯等,纷纷布局人工智能,创业和投资的热潮也从前几年的无人机、虚拟现实全面延伸到人工智能领域。短短两年,全球已经有几千家人工智能公司,市场规模增长空间巨大,预计未来十年内将创造万亿美元的价值。

人类似乎已经进入了一个人工智能的美好时代,与此同时,在对未来的美好憧憬中,也不乏对人工智能带来的负面影响的担忧。这些担忧提醒人们在乐观期待未来的同时,也应关注人工智能可能带来的风险,这就产生了人工智能伦理问题。本文从强、弱人工智能两方面进行分析。

使用仿真软件,输入扩孔钻头的结构参数、钻进参数及岩石参数,将扩孔钻头的切削齿和井壁离散化,如图4所示,再模拟、分析在导向钻井及复合钻井等条件下新型扩孔钻头的切削力学性能与稳定性能。

一、人工智能伦理的应有之意

历史上几乎每一项重大技术,比如电力、蒸汽机、通讯以及计算机和互联网等,都会给之前的传统社会带来风险和挑战,诸如失业、隐私、安全等等。而人工智能之所以比以往任何一个时代的技术突破都更引人关注,其原因在于,基于人工智能技术的人工物品或产品不再是毫无生气的机器。一方面,它们在智能程度上可以远超人类,比如目前机器在围棋、图像和语音识别等领域的突破;另一方面,具有人类的外观以及情绪、情感的机器人,可能会具有人格或人的属性。人类对人工智能而言,可能正在扮演“上帝”的角色,而“人类上帝”创造出的“人工智能体”有可能会反过来威胁人类,这是自世界上第一部科学幻想小说《弗兰肯斯坦》诞生以来就充斥科幻电影和小说中的标准桥段。

(3)歧视问题。2016年3 月,微软公司的聊天机器人Tay在Twitter上与网民互动过程中,成为了一个集性别歧视、种族歧视等于一身的“不良少女”。支付宝背后的算法机器人拒绝贷款给某人合理吗?法律软件是否会由于一个人的种族或身份特征来判定某人犯罪?造成这些问题的背后是当前以深度学习+大数据+超级计算为主要模式的弱人工智能,主要以大数据为依据,因此数据质量和隐含的信息决定了深度学习技术得到的结果可能存在偏颇甚至所谓产生“算法歧视”[4]。因为人工智能倾向于系统性地复制用于学习的数据中所有或明或暗的人类过失。机器学习算法造成的歧视会产生前面所提出的关于支付宝拒绝贷款等问题,甚至带来更多危害。一方面,如果将算法应用在犯罪评估、信用贷款、雇佣评估等关切人身利益的场合,一旦产生歧视,必然危害个人权益。

二、机器伦理、人工智能伦理与科技伦理

上述分析说明目前以算法为主的弱人工智能并不值得百分百信任。人类对这种新型智慧的认识还太粗浅。

然而,这里需要指出的是,机器伦理不能等同于人工智能伦理。在国外发展的机器伦理,往往与机器人伦理在概念上不加区分。这时我们可以认为机器伦理就是机器人伦理。但是就机器人与人工智能的关系而言,机器人本身是人工智能的重要研究领域之一,同时与计算机一样,也是呈现人工智能的载体。机器人是多种人工智能技术的集成,是以人类喜闻乐见的形象体现人工智能,同时能够完成各种不同任务。因此,就二者的关系而言,机器人引发的伦理问题也属于人工智能伦理问题,机器人伦理是人工智能伦理的一部分。

除了机器人,人工智能实现的具体形式是多种多样的,比如现阶段用于医疗、法律、教育、金融甚至音乐、绘画等领域的各种智能软件以及各种聊天机器人,其背后一般是强大的深度学习+大数据,以及自然语言理解、语音识别等智能技术,其所承载的伦理责任也与机器伦理有很多区别。

目前,关于人工智能伦理的讨论多集中在机器人伦理,因为这部分最容易引起人们的共鸣,影视作品的影响使得机器人与人的关系更容易为人们所理解和接受。而对于那些无形的智能软件和算法,也即弱人工智能所带来伦理问题,关注则不多。

无论人工智能伦理还是机器人伦理,都属于科技伦理的一部分[3]。20世纪40年代以来,建立在现代科学原理上的一系列高新技术,包括信息技术、生物技术、新材料技术、新能源技术、海洋技术、空间技术以及人工智能技术等,都对人类生存发展带来影响和挑战。随着人类利用高技术控制自然的能力的提高,个人似乎日益成为自身或机器的奴隶。我们的一切发现和进步,尤其是人工智能技术,似乎使得人类所创造的产物越来越具有理智。由于人工智能伦理问题几乎涉及人类社会的方方面面,本文只从强、弱人工智能两方面分析各自产生的伦理问题。

三、弱人工智能和强人工智能伦理

1. 弱人工智能技术的利与弊

弱人工智能是指各种模拟人或动物智能解决各种问题的技术,包括问题求解、逻辑推理与定理证明、自然语言理解、专家系统、机器学习、人工神经网络、机器人学、模式识别、机器视觉等。

以深度学习为基础的弱人工智能技术目前在图像识别、语音识别、机器翻译、自然语言处理等方面取得了巨大成功,并大规模市场化。在图像识别领域,基于深度学习的人脸识别、物体识别、行为识别等应用在医疗、交通、教育等行业都有广泛的用途,能够有效提高安全防范水平,打击犯罪和恐怖主义,惩治交通违法行为,提升交通安全水平等。深度学习+大数据模式甚至在文学创作、司法审判、新闻编辑、音乐和美术作品创作等方面也有惊人的表现,能够极大地提升工作效率和质量,降低人类的工作强度,激发人类的创作灵感,创作出更好的作品。弱人工智能技术给人类带来的益处是显而易见的。但因为不了解深度学习的运行机制,一些超出人类的能力反倒令人们开始惴惴不安。

2016年6月,微软总裁萨蒂亚·纳德拉(Satya Nadella)说“我们不仅想要智能机器,还需要可理解的机器。”尤其深度学习在医疗、金融、军事等关键领域的应用,使得弱人工智能伦理问题日益得到关注。与尚未实现的强人工智能在未来可能给人类带来的伦理困惑或问题不同,弱人工智能是在现实中可能给我们带来种种伦理风险或困惑。

虽然在大规模图像处理、语音识别甚至音乐、绘画等艺术领域的表现令人刮目相看,但没人知道其决定的背后隐藏着什么,算法不仅仅会将歧视代码化,而且会创造自己的现实,形成一个“自我实现的歧视性反馈循环”,包括预测性警务、犯罪风险评估、信用评估等都存在类似问题。归根到底,深度学习算法仍然缺乏人类这样的联想、记忆、学习、推理等高级智能。但一定程度上,它有些接近机器学习专家佩德罗·多明戈斯所提出的“终极算法”[5],意思是说通过数据学得包括过去、现在以及未来的所有知识的算法,创造该算法将是科学历史上最大的进步之一。迄今为止,这样的算法并没有被创造出来。深度学习只是一定程度上接近终极算法的理想,但很多表现已经让人类不可理解。

关于强人工智能的伦理问题,我们需要思考如下几方面:

法国独立机构信息与自由全国委员会(CNIL)在对部分人工智能儿童玩具进行测试后发现,这些玩具存在泄露个人隐私的安全隐患。一些智能玩具与手机无线连接的距离达到近10米时,可以隔着房屋进行操控。这就给不法之徒以可乘之机,可借此功能窃取儿童及其父母的声音和照片等个人资料。未来区块链技术+人工智能+量子加密技术可能会成为一个有效解决方案,在此之前仍需要政府、企业和个人多方努力防止此类问题的大规模爆发。

2月20日,水利部直属机关2012年党的工作会议在京召开。水利部党组书记、部长陈雷出席会议并作重要讲话。中央国家机关工委副书记俞贵麟到会指导并讲话。水利部党组副书记、副部长矫勇主持会议。水利部党组成员、中纪委驻部纪检组组长董力传达中央国家机关第二十六次党的工作会议暨第二十四次纪检工作会议精神。水利部党组成员、副部长、直属机关党委书记周英作工作报告。水利部副部长胡四一,水利部党组成员、副部长李国英,总工程师汪洪,总规划师兼规划计划司司长周学文出席会议。

(2)安全与责任问题。2017年12月,腾讯安全平台部Blade团队在对谷歌人工智能学习系统Tensor Flow进行代码审计时,发现该系统存在重大安全漏洞,利用该系统进行编辑的AI场景有遭受恶意攻击的可能。Tensor Flow是目前谷歌免费开放给AI设计者的编程平台,程序员可以在该平台上进行AI组件的设计工作。事实上,近两年来自业界和媒体对人工智能的追捧,忽略了其背后的网络安全问题。由于目前多数以深度学习为基础的人工智能技术都是基于云端或者互联网开放平台,互联网本身的漏洞与人工智能技术本身的漏洞都可能造成巨大安全隐患。腾讯的发现对人工智能安全问题是一个警告。

美国、英国、欧盟等都在着力推进对自动驾驶汽车、智能机器人的安全监管,自动驾驶汽车出了事故责任怎么认定?如果人工智能程序漏洞或自动驾驶汽车造成人身和精神损害以及公私财产损失,谁来承担责任?诸如此类的问题如果按照现有的法律责任规则,因为系统是自主性很强的,它的开发者是难以预测的,包括黑箱的存在,很难解释事故的原因,安全往往与责任相伴,未来可能会产生责任鸿沟。

人类思想的伟大之处在于,能够把头脑中幻想的事物一点点变成现实。事实上,每一代人类所生活的现实世界某种程度上也正是前几代所幻想或构想的世界。我们当代人也不例外。原本只是停留在幻想中的伦理担忧和威胁似乎完整地映射到了现实世界,从而给人类带来了实实在在的困扰和恐慌。而当人类憧憬中的人工智能体正在我们这一代人手中得以推进和实现,就意味着我们必须承担防止所创造的智能体无序发展的责任,包括从道德规范、法律、教育与基本社会制度等,都需要采取相应的措施和全面的布局。其中,伦理规范是必须的手段。目前一些有识之士率先看到了其中的危机或风险,在机器伦理或机器人伦理领域开始前沿探索,一方面,是为了在真正的风险和威胁形成之前防患于未然,最大限度的将危险消灭在萌芽之中;另一方面,是为了引导技术力量,注重在源头开发、设计“友善的人工智能”,最大限度避免人工智能的“恶之花”,这就是人工智能伦理的应有之意。

(4)失业问题。由于工业机器人和各种智能技术的大规模使用,导致从事劳动密集型、重复型、高度流程化等类型的职业人士等都面临失业威胁。由此可能引发社会发展危机,造成社会安全水平下降和动荡。美国麦肯锡咨询公司最近的一份报告预测,到2030年全世界将有3.9亿人因机器人和人工智能的大规模普及而改行,有8亿人会失业。因此,未来十几年,在人工智能发达的国家,面临的社会稳定问题也同样严峻。

2. 弱人工智能伦理问题的根源

由于目前的深度学习还是一个典型的“黑箱”算法,连设计者可能都不知道它是如何决策,要在系统中发现是否存在歧视及其根源,在技术上是比较困难的。传统软件的每一行代码都由人类编写,随后经由数学证明般的严谨验证,至少一些风险应用就是如此。深度神经网络却与之大相径庭,一切都是待涂写的白纸。深度神经网络依据的是经验知识,理论有所迟滞,有研究人员在通过可视化方法研究深度学习的特征提取和信息处理过程。但要解释深度学习算法做出的每一个决定,目前还是比较困难。

我在想,这种感受在年轻的时候有过吗?好像没有。记得年轻的时候,我们一起登山,登到山顶,大家欢呼雀跃,仿佛个个成了英雄。那时候真的是豪气冲天!杜甫的“会当凌绝顶,一览众山小”也是青年时代写下的,热血沸腾的年代,一切都是渺小的,只有自己最伟大,伟大到可以征服高山,可以征服世界。杜甫后来的诗句,再难见这种豪气。

“机器伦理”(Machine Ethics)是一个正在兴起的伦理学研究领域,它关注如何使机器具有伦理属性。机器伦理是美国学者Michael Anderson,Susan Leigh Anderson和Chris Armen最早提出的,他们在《走向机器伦理》(Towards Machine Ethics)中提出:“机器伦理关注于机器对于人类使用者和其他机器带来的行为结果”[1][2]。他们认为,过去对于技术与伦理问题的思考大多关注于人类是否负责任地使用了技术,以及技术的使用对人类而言有哪些福祉或者弊端。然而,很少有人关心人类应该如何负责任地对待机器。这里的机器实际上指的是具有人工智能的机器。由于机器的智能化发展使得机器负载着越来越多的价值和责任,从而使机器具有伦理属性,以帮助使用者做出伦理决策,或者发展一种具有伦理意向的自动机器以实现情景判断、案例分析和实时决策的功能,这是目前该领域的研究重点[3]

3. 强人工智能伦理问题

在人工智能领域,强人工智能是指有自我意识、自主学习、自主决策能力的人工智能,也是人工智能发展的终极目标,但是在意识问题没有解决之前,强人工智能的实现还有很长的路要走。斯蒂芬·霍金、比尔·盖茨、马斯克都曾表示了对人工智能会具有自我觉知和意识的忧虑。霍金认为人工智能可能是人类最大的灾难,如果管理不当,会思考的机器可能终结人类文明。虽然霍金等人所担忧的问题属于现实中尚不存在的强人工智能所带来的可能的、潜在的问题,但人类有必要预先考虑智能技术的发展造成的种种后果。因此,关于强人工智能伦理问题的讨论,我们需要假定未来人类创造的人工智能具有了自我意识以及人性或人格,否则这种讨论是没有意义的。

(1)隐私问题。以深度学习+大数据为主要模式的人工智能系统需要大量的数据来训练学习算法。必然会产生隐私泄露等问题。一方面,如果在深度学习过程中使用大量的敏感数据,这些数据可能会在后续被披露出去,对个人的隐私会产生影响。目前人工智能研究人员已经在提倡如何在深度学习过程中保护个人隐私。

(2)权利义务和行为责任。人类是否比智能机器人拥有更多的权利?智能机器人或智能机器是否应比人类承担更多的社会劳动和其他责任?比如服务机器人在照顾孩子、老人或病人时发生事故如何界定责任等等问题。

(1)智能机器或自我意识的机器人的社会地位。一旦机器智能突破奇点,产生自我意识,具有人性特征,我们如何在法律上界定其地位,未来由于人机融合的发展可能出现电子人、合成人等智能体,它们的人格如何确定?在它们受到伤害时,是否应赋予其人道主义待遇?在传统人类社会中的角色,它们的角色与人类的角色如何把握?

(3)人与智能机器之间的伦理关系。有了自我意识的智能机器与生物学意义上人类之间的关系注定变得复杂莫测。人类创造人工智能的目的在于让机器变得更加智能,代替人类完成更多更复杂甚至更危险的工作,但由此带来对人类社会传统的个体、家庭以及社区、组织、机构和企业之间的伦理关系影响将是非常复杂的,由此在强人工智能实现之前需要来自法律、哲学、伦理学、工程、技术以及政府、企业、社会组织等各方面的更多探讨和研究。

CPIKN是一个加权网络,本文利用协同成员节点权重与加权最短路径对无权网络的介数定义进行修正,得到协同成员节点的加权介数

该算法得到的电压数据和电流数据存储至单片机U1的内部寄存器,再由其内部的ECAN模块将检测结果输出给CAN总线数据传输电路单元;数据处理电路单元中的LED指示灯L2会闪烁时单片机处于工作状态;接线端子J1是编程线,通过连接计算机USB接口可以使用计算机下载、编写和运行调试单片机U1的相关程序.

四、人工智能伦理问题对策与机制

人工智能技术所产生的终端物品或产品,无论软件还是硬件,由于嵌入了智能算法或程序而具有了类人智能,甚至会产生自我意识,由此产生与人类之间的复杂的伦理关系以及人类自身的伦理关系的一系列变革,甚至颠覆人类社会自身的伦理关系。以深度学习为代表的机器学习算法的伦理问题与未来超级智能的伦理问题同样重要,包括道德代码、隐私、正义、有益性、安全、责任等等。未来我们需要进一步思考由于人工智能的发展所导致的人与人、人与机器,甚至机器与机器之间的伦理问题,努力规避负面影响,使人与人、人与机器、机器与机器,甚至与超人类(在机能与智能上远超现代人类的新人类)、后人类(基因改造与机器融合的新物种)之间的伦理秩序能够在符合人类理想,确保搭载着在某方面超越人类智能的技术工具进入人类社会以后和人类的价值规范及需求相一致。为此,针对强、弱人工智能的伦理问题,提出如下对策和机制:

由于交通要适应社会的发展状况,随着社会经济的飞速发展,世界上的城市交通理论有了很大的变化。我国的城市交通理念也有着飞速的发展,我国近代大数据技术的出现给城市交通规划理论带来了很多的动力。随着我国大数据的兴起,出现了越来越多的大数据职业。大数据是近代新兴的职业,虽然现在大数据的技术还不是很完善,但在城市交通规划理论的变革方面有很大的促进作用。

(1)弱人工智能的伦理设计。即是将人类社会的法律、道德等规范和价值嵌入弱人工智能系统。目前,机器伦理学领域存在着“自上而下”与“自下而上”两种构建方式。“自上而下”是运用某些道德原则或理论作为选择哪些行为合乎道德的判断准则,“自下而上”则是提供可以选择和奖励正确行为的环境,着力于开发道德敏感性,像小孩子学习一样日积月累地从现实经验中学习培养道德意识与判断能力[6]。两种构建方式都是将符合人类规范的道德行为转化为数字符号,用道义逻辑、认知逻辑和行为逻辑等计算手段实现机器人伦理。实际上,这两种构建方式恰恰是符合弱人工智能技术或当前现实需要的方式。这也是美国电气和电子工程师协会、英国等国家和组织机构提倡的方式。主要步骤是:首先要研究和发现弱人工智能系统的规范和价值;其次是将所发现的规范和价值通过自上而下和自下而上的方式植入弱人工智能系统;最后是对已经嵌入弱人工智能系统的规范和价值进行评估,看其是否和人类社会的相一致。

(2)弱人工智能系统研发中贯彻伦理原则。这需要政府、学术组织、研发机构、研发人员等多方合作。一方面,针对人工智能研发活动,人工智能研发人员需要遵守一些基本的伦理准则,包括有益性、包容性、多样性、透明性以及隐私的保护等等;另一方面,国家和政府需要建立类似电影审查制度一样的人工智能伦理审查制度,伦理审查应当是跨学科的、多样性的,对人工智能技术和产品的伦理影响进行评估并提出建议。

布莱德先生说:“每当有病人去世,我们都会在他的床边,举行一个小小的告别仪式。现在,我马上就要到南希的床边去,我们只能就此结束了。”

(3)制定弱人工智能算法规范和标准。现在算法和软件及决策越来越复杂,窃取隐私、财产和诈骗的流氓软件防不胜防。因此对软件和算法设计进行规范和监管,涉及性能、设计、责任等标准及分类等;同时确保算法自身的代码透明性和决策透明性。因此,当前解决弱人工智能伦理问题的首要任务,是让人工智能得出的结果变得可以理解,可以解释。美军近一年启动了至少13个项目,都以“可解释的人工智能”为主题。欧洲为保护数据信息制定的新法令里甚至包括一条“解释权”—有权要求做出决定的机器做出解释,该法令将于2018年5月生效。

制定人工智能算法和标准目的是防止恶意软件和算法产生。可以借鉴Open AI等开源人工智能的经验。还应建立第三方检测评估、检测、认证和审批制度,对于自动驾驶汽车、家用服务机器人等采用的机器学习算法,监管部门要进行事先评估检测,不符合监管标准的就不允许推向市场。

运行结果显示SPSS自动生成了包含百分比的交叉频数分布表以及γ相关系数,γ=0.115。学生利用SPSS再一次验证了手工分析数据得出的结论。在这里SPSS带来的不仅仅是对大数据分析的快捷与准确,事实上用统计软件SPSS验证已有的结论,能强烈逆向加深学生对所学知识的认同感,这种对知识与方法的从内心深处的认可与接纳,可极大促进学生对统计学的学习热情与成效。

(4)针对弱人工智能算法决策需要完善现行法律法规。尤其算法决策造成的人身财产损害,明确法律主体和责任。对于算法决策在确保透明性的基础上,还需要确保用户有知情权和提供必要的解释。对于自动驾驶汽车、服务机器人等搭载弱人工智能技术的装置给人带来的财产损失、生命安全和责任挑战,法律上也应尽快完善,预防可能的风险。

在2018年4月的时候,我国落实了有关金融机构管理业务的指导意见的条例,条例中要求商业银行必须有效地提升对资产的管理能力,所以商业银行相关的投资和风险管理能力如果能够在市场中充分体现出来,就能大幅度提高商业银行的综合实力,零售网点的转型的成果也能更加显著。要想做好管理工作,就需要工作人员具有较高的专业技能水平和扎实的知识基础,企业要吸收更多金融市场上的人才,还可以成立专业的工作团队,建设出一支高素养和高职业技能的工作队伍。此外,还可以设立专门的资管公司,可以更好地进行管理,提高管理的效率。

(5)加强人工智能伦理风险防范教育。通过教育和宣传系统加强对普通群众、学生、政府公务人员、法律业者等各类人士的人工智能素质教育。提高全体社会公民在智能时代的人工智能素养,知晓弱人工智能技术可能带来的风险。

本文采用文献计量法、社会网络分析法和多维尺度分析法等研究方法,运用Ucinet、Cite Space、SPSS和Excel等软件,对国内网络用户信息行为领域文献的时间分布、作者分布、机构分布、高被引分布、期刊分布、研究热点和趋势进行分析,展现网络用户信息行为领域的现状和趋势。

(6)参考人类伦理设计强人工智能伦理规范。牛津大学哲学家尼克·波斯特洛姆针对强人工智能可能面临的各种伦理和法律问题提出了“建造美好的人工智能”的设想[7],也就是按照建造一个种子人工智能,然后按照人类需要的方式去赋予其“与支配我们的思维的认识论相匹配的基本论原理”,它会随着世界理解的不断发展由它自己不断创造并修改其对世界的认识。强人工智能的实现将不再需要算法和程序。强人工智能伦理将是完全参考人类的伦理规范来确定,包括赋予有意识的人工智能以人格、法律主体地位,甚至承认其拥有与人类平等的权利—“人权”等等。

参考文献

[1]M. Anderson, S. Anderson, C. Armen, Towards Machine Ethics: Implementing Two Action-Based Ethical Theories. In M. Anderson, S. Anderson, C.Armen(Eds.), Machine Ethics: Papers from the AAAI Fall Symposium, Technical Report FS-05-06. Menlo Park, CA: AAAI Press, 2005: 1–7.

[2]于雪, 王前. “机器伦理”思想的价值与局限性. 伦理学研究,2016, 4:109–114.

[3]杜严勇. 机器伦理刍议, 科学技术哲学研究. 2016,(1): 96–101.

[4]曹建峰. 怎样应对人工智能带来的伦理问题. 学习时报, 2017–6–14(007).

[5][美] 佩德罗·多明戈斯所. 终极算法. 北京: 中信出版集团股份有限公司, 2016.

[6]Allen C, Smit I, Wallach W. Artificial morality: Top-down, Bottom-up, and Hybrid Approaches. Ethics and information technology,2005, 7(3):149–155.

[7][英] 尼克·波斯特洛姆. 超级智能: 路线图、危险性与应对策略. 张体伟, 张玉青译.北京: 中信出版集团股份有限公司, 2015.

 
莫宏伟
《科学与社会》 2018年第01期
《科学与社会》2018年第01期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息