十多年来,记者和研究人员一直在撰写有关依靠算法做出重大决策的危险的文章:谁被关押,谁得到工作,谁得到贷款,甚至谁优先使用COVID-19疫苗。
而不是消除偏差,一个接一个的算法已经将其编成代码并永久存在,因为公司同时继续或多或少地保护其算法不受公众审查。
此后的一个大问题:我们如何解决这个问题?立法者和研究人员提倡进行算法审计,该算法将对算法进行剖析和压力测试,以查看算法如何工作以及它们是否在执行既定目标或产生有偏见的结果。越来越多的私人审计公司声称这样做。公司越来越多地求助于这些公司来审查其算法,尤其是当他们面对因偏向结果而受到批评的时候,但是目前尚不清楚此类审计是否实际上使算法的偏向性降低了,或者它们是否仅仅是良好的公关手段。
最近,当沃尔玛和高盛等公司使用的受欢迎的招聘软件公司HireVue面临批评时,算法审计引起了广泛关注,该公司通过视频采访评估候选人的算法存在偏见。
HireVue要求审计公司提供帮助,并在一月份在新闻稿中大肆宣传了审计结果。
审计发现,该软件的预测“在公平性和偏见问题方面做得很出色”,HireVue在一份新闻稿中说,引用了该公司聘请的审计公司O'Neil风险咨询和算法审计。
HBT BABY项目已通过Fairyproof审计:据官方消息,Fairyproof近期审计了在HECO上发布的HBT BABY项目合约。所审计的合约包含代币发行和质押挖矿功能。详细细节请参看Fairyproof官网发布的审计报告。[2021/10/19 20:39:55]
但是,尽管对其流程进行了更改,但HireVue被广泛指责为使用PR特技进行审计。
文章在快速公司,VentureBeat的,和麻省理工学院技术评论叫响公司mischaracterizing审计。
HireVue表示,通过公开发布该报告可以使审计透明,并补充说新闻稿规定该审计仅针对特定情况。
“尽管HireVue可以接受任何类型的审计,包括涉及对我们整个流程的审计,但ORCAA要求只关注一个用例,以便就该系统进行具体讨论,”HireVue首席数据科学家LindseyZuloaga在接受采访时说。一封电邮。“我们与ORCAA合作,选择了一个具有代表性的用例,该用例与大多数HireVue候选人所进行的评估有很大的重叠。”
Mina生态钱包Clorio已完成Least Authority的安全审计:官方消息,安全审计机构Least Authority完成了对Mina生态钱包Clorio的安全审计,该钱包是由Mina社区成员开发的非托管钱包。Clorio钱包可以通过StakingHub功能,参与Mina协议的共识,并且与硬件钱包Ledger兼容,可以运行在浏览器、Windows、macOS或Linux系统中。[2021/7/17 0:58:49]
但是算法审计师也对HireVue关于审计的公开声明不满意。
人工智能解释和偏差监控初创企业Arthur的联合创始人利兹·奥沙利文表示:“在对营销抵押品进行非常周到的分析时,它们破坏了整个领域的合法性。”
这就是算法审计作为消除偏差的工具的问题:公司可能会使用它们进行真正的改进,但可能不会。而且没有任何行业标准或法规要求审计师或使用它们进行会计的公司。
什么是算法审计-它如何工作?
好问题-这是一个非常不确定的字段。通常,审计以几种不同的方式进行:通过查看算法的代码和来自其结果的数据,或通过与员工的访谈和研讨会来查看算法的潜在影响。
波卡安全性经过Atredis审计:Web3基金会发布Medium表示,波卡安全性已经经过信息安全公司Atredis审计。Atredis对波卡运行时间的完整性、机密性和可用性,以及对波卡验证者的安全性和可靠性进行了评估。Atredis在今年1月20日到2月11日执行了这次评估,审计检查出1个重要问题,1个高安全性问题、1个中度安全性问题,3个信息型问题。其中重要问题是一个逻辑问题,已经修复,其他问题不会扰乱到整个网络。[2020/12/1 22:40:32]
可以访问算法代码的审核程序使审阅者可以评估算法的训练数据是否有偏见,并创建假设性场景来测试对不同人群的影响。
Twitter的机器学习道德总监兼算法审计公司Parity的创始人RummanChowdhury说,只有大约10到20家提供算法评论的知名公司。公司还可能拥有自己的内部审核团队,负责在将算法发布给公众之前研究其算法。
2016年,奥巴马政府一份关于算法系统和公民权利的报告鼓励了算法审计行业的发展。不过,聘请审计师仍然不是一种普遍的做法,因为公司没有义务这样做,而且根据多名审计师的说法,公司不希望受到审查或可能引起审查的潜在法律问题,特别是针对他们所销售的产品。
现场 | 零时科技CEO邓永凯:很多未审计的项目“生命周期”不超过24小时:金色财经现场报道,10月15日,华山论剑2020网络安全大会于西安召开,在大会的区块链安全与应用创新分论坛上,零时科技CEO邓永凯演讲表示,智能合约的安全风险体现在合约的复杂性、组合性、无监管,开源等。很多未进行审计的智能合约,在项目上线后,24小时内出现了黑客事件。
因此,区块链项目可以建立如下防范措施:
1.建立安全开发体系,用立项、开发、测试、发布完成流程来落地,尽量安全前移。
2.对合约的代码规范、安全漏洞、业务逻辑进行全局核查,建议做交叉测试,尽可能多的发现合约中的风险,
3.推行赏金计划。激励全球白帽子挖掘安全问题。
4.加入风控机制,做预警监控,例如检测异常交易、检测暗网钱包地址等。
5.与安全团队和生态平台做资产追溯。[2020/10/15]
“律师告诉我,'如果我们雇用您,发现有一个我们无法解决的问题,那么我们就失去了合理的可否认性,我们不想成为下一个卷烟公司,'”ORCAA的创始人CathyO'尼尔说。“这是我找不到工作的最常见原因。”
未审计DeFi项目SpaghettiMoney推出12小时吸金2.03亿美元:DeFi流动性挖矿(Yield Farming)热潮仍在继续,Spaghetti?仅在十小时前推出,投资者迄今已在其协议中投入了总计2.03亿美元的数字资产。Spaghetti提供了几种DeFi代币的质押池,包括yEarn(YFI),Maker(MKR)和Compound(COMP)。Spaghetti没有公共团队,也没有经过审核,争取奖励的一些代码来自YAM。它还有一个本机PASTA代币,将在接下来的7天中的某个时间通过权益池公开分发。(Coindesk)[2020/8/19]
对于那些聘请审计师的人,“审计”应包含什么没有标准。即使是拟议的纽约市法律也要求对聘用算法进行年度审核,也无法说明应如何进行审核。一位审核员的批准印章比另一位审核员的审核意味深远。
而且由于审计报告也几乎总是受保密协议约束,因此两家公司无法相互比较自己的工作。
乔杜里说:“最大的问题是,随着这一领域的利润越来越丰厚,我们将发现,我们确实需要什么是审计标准。”“外面有很多人愿意对某事进行审计,建立一个外观漂亮的网站并每天称其为日,然后无条件获取现金。”
一些审计师说,即使聘用了审计师,科技公司也并不总是能如愿以偿。
Arthur的O'Sullivan说:“在这种情况下,商业秘密已足够使这些算法能够在晦暗黑暗的环境中运行,而我们不能拥有这种秘密。”
算法正义联盟的审计师和研究合作者伊尼奥卢瓦·德博拉·拉吉表示,审计师处于无法访问该软件代码并因此存在违反计算机访问法律的风险。乔杜里说,当公司要求她允许他们在公开发布之前对其进行审查时,她拒绝了审计。
Zuloaga说,对于HireVue的审计,ORCAA采访了利益相关者,包括HireVue员工,客户,应聘者和算法公平专家,并确定了公司需要解决的问题。
ORCAA的评估并未考虑HireVue算法的技术细节,例如算法所训练的数据或其代码,尽管Zuloaga表示,该公司不以任何方式限制审计师的访问权限。
Zuloaga说:“ORCAA要求提供有关这些分析的详细信息,但他们的方法着眼于解决利益相关者如何受算法影响的问题。”
奥尼尔说,她无法对HireVue审核发表评论。
许多审核是在产品发布之前进行的,但这并不是说它们不会出现问题,因为算法不是凭空存在的。例如,当微软建立一个聊天机器人时,一旦暴露给Twitter用户,该聊天机器人便迅速变成种族主义者。
奥沙利文说:“一旦将其投入现实世界,即使有最好的意图,也有可能出错一百万人。”“我们希望采用的框架还不够完善。总有办法使事情更加公平。”
因此,尽管并不常见,但一些预发行审核也将提供连续监视。奥沙利文说,这种做法在银行和医疗保健公司中越来越流行。
奥沙利文的监视公司安装了一个仪表板,该仪表板可实时查找算法中的异常情况。例如,如果公司的算法拒绝更多的女性贷款申请,它将在启动后几个月提醒公司。
最后,越来越多的对抗性审核机构,主要是由研究人员和一些记者进行的,他们未经公司的同意就对算法进行审查。例如,算法正义联盟的创始人Raji和JoyBuolamwini,他们在亚马逊Rekognition工具上的工作突显了该软件如何在没有公司参与的情况下具有种族和性别偏见。
公司在审核后会修复其算法吗?
无法保证公司将解决审计中提出的问题。
Raji说:“您可以进行质量审核,但仍然无法从公司那里获得问责制。”“这需要大量精力来弥合获取审计结果与将其转化为责任之间的差距。”
公众的压力有时会迫使公司解决技术上的算法偏差-或未按技术公司的要求进行的审计,并由保密协议进行了审计。
拉吉说,性别阴影研究的研究发现了商业面部识别工具中的性别和种族偏见,并任命了IBM和Microsoft等公司来引发围绕它的公开对话。
她说,但是围绕算法的责任感很难引起关注。
尽管面部识别的偏见是可以解决的,但人们可以看到照片和错误率,并且可以理解种族歧视和性别偏见在技术中的后果,但与诸如利率算法偏见之类的东西联系起来可能会更加困难。
拉吉说:“我们如此依赖公众的呼声,实在令人难过。”“如果公众不理解,那就没有罚款,也没有法律上的影响。这让它非常沮丧。”
那么如何改善算法审核呢?
在2019年,一群民主立法者提出了联邦算法责任法案,该法案将要求公司对其算法进行审计,并解决审计在使用之前发现的任何偏见问题。
AIForthePeople的创始人MutaleNkonde是技术专家团队的成员,该团队帮助起草了该法案,并表示将为公司创建政府授权以进行审计并遵循这些审计。
她说:“就像药物测试一样,必须有某种类型的机构,例如食品和药物管理局来研究算法。”“如果我们看到了不同的影响,那么该算法将不会投放市场。”
该法案从未付诸表决。
来自俄勒冈州的民主党参议员罗恩·怀登表示,他计划与参议员科里·布克和众议员伊维特·克拉克重新引入该法案,并更新2019年版本。目前尚不清楚该法案是否将为审计制定标准,但这将要求公司根据其结果采取行动。
Wyden在一份声明中说:“我同意研究人员,行业和政府需要努力建立公认的审计AI基准,以确保审计尽可能具有影响力。”“但是,在国会开始采取行动防止偏见污染自动化系统之前,要等到学术界达成完全共识的风险太大了。我认为我们需要在两个方面都努力。”
近日,数字人民币试点活动相继在深圳、苏州、北京、成都等地展开,而关于数字人民币的形态也越来越丰富.
1900/1/1 0:00:00尊敬的用户:Hotbit即将在开启DUCKFINANCE(DuckFinance)数字资产服务.
1900/1/1 0:00:00比特币天图2020.2.26这一天比特币天图收盘在上升趋势线和15EMA均线下方,预示着天图级别的上涨趋势暂停!接下来将进入一段复杂调整周期,在复杂调整周期中,我们尽可能保持观望的态度.
1900/1/1 0:00:00Gate.io“理财宝”上线至今推出许多款热门币种高年化率锁仓/活期理财产品,始终紧跟市场步伐推出当下热门的理财产品,深受用户的喜爱与支持.
1900/1/1 0:00:00为丰富直播互动,提升直播访谈价值,Gate.io直播间将定期邀请区块链行业从业者带来优质的内容知识,共同探讨行业发展.
1900/1/1 0:00:00虽然Filecoin主网上线才5个月,但Filecoin网络已经成为拥有Web3中最活跃的开发者生态之一.
1900/1/1 0:00:00