每个人都下载文件,大家有没有想过,文件可能是假的,尤其来自网盘或专门的下载站。
本文就来谈谈如何识别文件的真假。
一、XcodeGhost 事件
我们从一件真实的事件说起。
2015年9月,苹果手机的一些 App 被发现向可疑网站发送数据。进一步调查确认,可疑代码是 Xcode 打包时植入的。也就是说,开发者的编程工具 Xcode 被动过手脚了。
腾讯的安全团队公布调查报告,应用商店的前 5000 名应用有76个被感染。360 应用商店检查后发现,共有1076个 App 被感染,包括微信、网易云音乐、滴滴打车、高德地图、12306、同花顺等热门应用。苹果公司将所有被感染的版本,都从官方软件商店下架了。这个事件就称为 XcodeGhost 事件。
国家互联网应急中心专门发出了预警通知。
追查下去,那些动过手脚的 Xcode 都不是从官方渠道下载的,而是来自网盘或下载站。一个网名"coderfun"的人,在各种 iOS 开发者论坛或者微博留言,引诱其他开发者下载修改过的 Xcode,版本从 Xcode 6.1 到 6.4。
事后,这位 coderfun 发出致歉公告,表示这只是自己的一次实验,没有恶意。但是,这个事件足以引起警惕,任何下载的文件都不一定安全,很可能被修改过或植入恶意代码。
二、软件的防伪措施
为了防止来源不明的软件,很多平台都有签名机制。软件发布必须由认证过的开发商,使用平台的密钥签名。如果用户安装未签名的软件,平台会弹出警告,阻止安装。下面就是 MacOS 的警告。
但是,不可能所有开发者都去认证,尤其是认证要收费。而且,用户对这种警告不在乎,一般都会忽略或手动关闭。所以,这种做法的效果不明显。
目前的常用做法是,软件发布时,同时给出哈希码和签名文件。前者保证没有被第三方修改,后者保证确实出自原始作者。
举例来说,Linux 的发行版 Manjaro 除了提供原始的 iso 文件,还提供另外三个文件:sha1 哈希文件、sha 256 哈希文件和 sig 签名文件。 它们保证了软件的真实性。
三、哈希码验证
哈希码指的是,文件内容经过哈希函数的计算,会返回一个独一无二的字符串。哪怕原始内容只改动一个字节,哈希码也会完全不同。用户下载软件后,只要计算一下哈希码,再跟作者给出的哈希码比较一下,就会知道软件有没有被改动。
目前,常用的三种哈希函数是 MD5、SHA1 和 SHA256。其中,SHA256 最安全,SHA1 次之,MD5 垫底。一般来说,软件至少会提供其中一种哈希码。
下面是哈希码的验证方法。
(1)Linux 系统
Linux 系统直接用md5sum
、sha1sum
、sha256sum
这三个命令,计算哈希码。
$ md5sum foo.zip $ sha1sum foo.zip $ sha256sum foo.zip
上面命令返回文件foo.zip
的三种哈希码。用户再跟作者给出的哈希码比对。如果不一致,文件就是被改动了,或者没有完整下载。
有时,就像前面 Manjaro 的例子,哈希码不是写在网页上,而是作为一个单独的文本文件下载。这时可以使用-c
参数。
$ md5sum -c foo.zip.md5file $ sha1sum -c foo.zip.sha1file $ sha256sum -c foo.zip.sha256file
上面命令会返回哈希码的比对结果,直接告诉用户是否一致。
(2)Mac 系统
MacOS 的验证命令需要自己安装。
$ brew install md5sha1sum
执行上面命令以后,md5sum
和 sha1sum
就可以使用了。至于 sha256sum
要用 shasum -a256
命令代替。
(3)Windows 系统
Windows 可以下载安装免费软件 Quick hash 或者 Raymond's MD5 & SHA Checksum Utility。其中,Quick hash 是跨平台的,还支持 Linux 和 MacOS。
四、签名验证
哈希码只能保证文件内容没有修改,但是哈希码本身也有可能仿冒,完全可能连带原始文件一起造假。
文件签名能解决这个问题。软件发布时,作者用自己的私钥,对发布的软件生成一个签名文件(Manjaro 例子的 sig 文件),用户使用作者的公钥验证签名文件。
第一步,下载公钥。
软件的官网一般都会给出作者公钥的下载方法。比如,Manjaro 就可以从 GitHub 仓库下载公钥。
$ wget github.com/manjaro/packages-core/raw/master/manjaro-keyring/manjaro.gpg
公钥也有可能放在专门的公钥服务器,这时可以使用gpg
命令在从公钥服务器下载。
$ gpg --keyserver hkp://eu.pool.sks-keyservers.net --search-keys [公钥 ID]
上面命令会列出搜索结果,让你选择是否下载某一个公钥。--keyserver
参数指定公钥服务器,search-keys
参数给出搜索参数,可以是作者的名称,也可以是公钥的指纹。
gpg
命令在 Linux 下可以直接使用,MacOS 和 Windows 需要安装 GnuPG。
第二步,导入公钥。
下载得到公钥后,将其导入操作系统。
$ gpg --import [公钥文件]
如果有完整的公钥指纹,gpg
命令的 --recv-key
参数可以直接从服务器导入公钥。
$ gpg --keyserver hkp://keyserver.ubuntu.com:80 --recv-key "27DE B156 44C6 B3CF 3BD7 D291 300F 846B A25B AE09"
第三步,验证签名。
导入公钥以后,就可以验证签名文件(后缀名为 sig
的 文件)了。
# 用法一 $ gpg --verify [签名文件] # 用法二 $ gpg --verify [签名文件] [原始文件]
上面命令的两种用法,效果是一样的。但是,用法一要求原始文件与签名文件同名,且在一个目录下。比如,签名文件是foo.iso.sig
,原始文件必须是同目录下的foo.iso
。
签名文件一般包括完整的公钥指纹,所以也可以跳过上面的第一步和第二步,直接从公钥服务器获取公钥,验证签名。
$ gpg --keyserver-options auto-key-retrieve --verify [签名文件]
(完)
CHS 说:
Windows也有自带工具能算hash值的,certutil -hashfile
2019年11月26日 18:59 | # | 引用
wenmin92 说:
PowerShell 还有 Get-FileHash Cmdlet.
2019年11月27日 08:46 | # | 引用
alex 说:
但是大部分的软件使用者并不懂什么hash、签名这些东西的。
2019年11月27日 11:09 | # | 引用
softbase 说:
看来只有APP Store这种模式才能解决软件分发问题。
费解的是,微软为什么现在才开窍?
2019年11月27日 11:25 | # | 引用
Zombie110year 说:
Windows 也可以用 PowerShell 命名计算 Hash
Sha* 等算法也支持
2019年11月27日 15:12 | # | 引用
荒原之梦 说:
下载关键软件的时候我也会验证一下哈希值,验证哈希值不仅可以防范恶意攻击,而且可以确保下载的文件是完整的,降低安装出错的可能性。
2019年11月28日 22:34 | # | 引用
xxyy 说:
苹果儒家,微软墨家
2019年11月29日 16:36 | # | 引用
Huiyi.FYJ 说:
Windows下的PowerShell下Get-FileHash不香吗?
2019年11月29日 20:37 | # | 引用
LucienXu 说:
Mac下直接 MD5 XXX 就好了
2019年12月 3日 16:33 | # | 引用
微信网名 说:
大部分人都不懂这些,一般都是用杀毒软件识别可疑文件和软件~
2019年12月 4日 10:22 | # | 引用
桥边驿语人 说:
从没校验过文件的真假,感觉自己是不是已经中毒很深了。
2019年12月 5日 11:12 | # | 引用
Q 说:
没错,大部分的软件使用者都不懂这些比较深奥的东西。
2019年12月15日 21:43 | # | 引用
Alex 说:
有一事不解,hash 不也是公布在官网吗?怎么伪造呢?要说伪造网站,那签名的公钥也可以伪装啊?
2019年12月22日 14:33 | # | 引用
不能说 说:
呵呵,那个破墙搞了多少破事出来啊。肉翻以后才发现各种store、各种repository都无需改DNS、配置镜像什么的就嗖嗖快。
2019年12月23日 12:14 | # | 引用
厚朴 说:
很早就知道hash验证这回事,但是一直都没有引起重视,是时候要注意下了
2020年5月16日 15:56 | # | 引用
Daniel 说:
发现了个免下载的浏览器checksum工具,md5-checksum.com,支持md5、sha256,sha1,挺好用的。
2022年9月 6日 16:04 | # | 引用