fofa下线的这一年我们做了什么
2023-4-4 11:2:52 Author: mp.weixin.qq.com(查看原文) 阅读量:56 收藏

去年1月末,fofa完成了对国际最顶尖平台的日活超越并进一步拉开了差距,我们幻想着排名进到一万名以内,以及对于未来新的一年展开了无限美好的遐想……猛地一下天塌了,fofa.so没有任何前兆地被下线拉黑,所有人打不开网站,直至今日,我们都没能拿回域名。这是我人生经历中最令人黑暗的时刻,那一天还是我们的合伙人生日,全公司乱作一团,外面各种猜测不绝于耳。

我们从来没有对外说过发生了什么,实际上我们也从来没能知道准确的原因,但是所有信息都指向一种可能性:fofa上的一些内容触发了一些关键字,比如一些赌博的色情的反动的网站内容。有朋友问我为什么fofa上会有这些内容?原因很简单,就类似于美国的一些技术不对中国ip开放主动进行了拦截(比如chatgpt等),所以,网络空间测绘系统要采集的最好方式就是在全球各地布点,这样协议和网站信息采集才能有效地完成。

这样的采集方式真实地对互联网开放的情况进行了取样,网站只取首页的内容,不涉及所以页面的爬虫。即便如此,那些各种违规类型的网站主页我们也都进行了抓取和展示。从fofa平台上线的第一天起,我们就认为它是给网络安全从业人员用的,大家会关注企业的互联网资产暴露情况,会关注一个设备或者软件的全球分布情况,我们怎么也不会想到有人会关注里面的色情赌博或者发动的内容,事实上我们也不想主动采集,客观上正是由于无差别的采集,最终导致了里面有全球互联网的违规内容。

我们第一时间进行了处理,符合国家法律法规是一个企业最基本的生存的前提。我们做了两件事情:一方面是对接各类内容安全过滤的系统,把违规内容进行了超级;另一方面是在展示的时候给出提示“根据政策,当前数据不显示”。在特别严格地限制了数据展示后,我们上线了新的域名fofa.info,考虑到所有的搜索引擎收录都清零,我们甚至没有机会给原有的用户发公告,这对我们来说相当于重新开始一段创业的历程。

没有其他选择,除了你选择了放弃,否则你还是要鼓起勇气再一次踏上征程。我们一度怀疑是否能东山再起,人生没有几个十年让你挥霍,我们只求相同的错误不要再犯。

新版本上线后,在我们提心吊胆地盯着系统时,就看到很多用户的请求展示被我们拦截掉了,我们的同事第一反应都比较气愤,一直以为没有人会来搜索这些信息,没想到会有这么多人在做搜索。系统在发现一个账号多次请求被过滤的数据时,会对其进行封锁停止使用。然后运营同学的消息就被刷屏了,一群人说为什么封锁了账号,他们是高级会员。我们说“违规数据不能展示,不让我们会有麻烦”,对方直接给我们说他们是某某单位,平时使用我们的平台在做违法犯罪网站的打击,现在停了以后很多工作开展不了。当场我们就傻眼了,原来有很多的一线警官自己掏钱开通会员每天用fofa做案件。

我们产生了一种无与伦比的自豪感,一种被认可的成就感。当然我们直接公开提供那些数据不合规,不提供的话又影响了大家的工作习惯。我们并不觉得非我们不可,可能只是一个两个并非大量用户,而且我们也无法确认真实性。于是我们推出了fofa-g的版本,针对监管等非盈利单位对数据分析的需求我们提供了开通全数据访问申请的渠道。

后来的事情就超出预期了,我知道有人用,不知道量有多大,当我们收到那些申请的时候,我们处于完全应对不过来的状态。即便如此,即便不收费,我们觉得很受鼓舞,我们一直尝试告诉大家fofa是有价值的,是在各行各业能够得到应用的,不管企业级我们卖了多少,我们一直也不认为它对社会有多大贡献。这些盖有单位红章的纸质申请书堆在那里那么厚,我国除了台湾省没有过来申请(如果申请我们本着应通尽通能帮尽帮的原则也会支持),其他的各省各地市都有。创业至今,没有比这更让人激动的事情了,大家也都热血沸腾。

后来的故事也正如一句话说的那样,上帝关了一扇窗,又给你开了一扇门。我们在配合开通账号的过程中,跟一系列在打击新型网络犯罪的一线技术专家建立了联系,他们是fofa的长期用户,总结了很多行之有效的分析方法,如何拓线如何串并案,如何拦截止损,如何溯源等等,为了解决老百姓们每天面临的大量从国外发起的诈骗杀猪盘赌博盘等造成大量损失的事情,他们投入了大量的精力,与犯罪分子斗智斗勇,抢时间,没日没夜。听着他们轻描淡写的谈笑风生,我们分明看到了背后不足为外人道的压力。

我们就想,我们还能帮忙做什么。fofa只是元数据聚合的平台,它本身并不产生业务数据价值。但是一线的技术专家们很多人就能打通整个流程,他们很快能完成信息分析走通案件。同时我们又发现不同地区技术专家的能力各有区别和特长。所以其实很长一段时间,大家都靠技术专家自己摸索,总结各自的方法。这种方式注定了很难批量复制,所以相互的沟通交流就很重要。有一天我在出租车上,收到某位领导给我发了个信息,说大家在集中培训交流,很多人都提到了用fofa辅助打案件,感谢我们开发了这么好的产品,那一刻我整个人都激动了。

我们没有能力告诉一线的技术专家如何去做某件事,业务方面我们也不可能在短时间内比这些专家更精通。只是我们是做工具出身,fofa goby等我们的逻辑都是一样的,找到行业内的最佳实践,然后围绕着行业顶级专家快速固化这些最佳实践。通过这种方式,我们把95分的专家技能能够自动化的都进行提取,输出一个80分的工具,这样就能快速复制到各个技术一线,有了一个可以接受的保底输出,让大家省下来时间去学习掌握更有创造力的部分。

后面的故事就比较简单了,我们找行业专家挨个拜访挨个聊天,跟一个小学生一样吸收学习总结,过程中配合大家拿一些具体的问题进行实际的操作。这个过程是漫长的有趣的充满着欢乐与痛苦的,这是每一个一线技术专家的常态,我们就像一个演员去体验了一次一次经历。过程中也产生了一些输出,我们也收到了一些感谢信,进一步坚定了我们的信心。

时间很快就过去一年了,我们从去年3月份开始开通申请,一眨眼的功夫一年时间很快就过去了。我们想给点什么样的交付作为总结,既为了自己,也为了那一些永远在一线的技术专家们喝彩。团队准备把一年前的fofa-g升级为fo-octra,这是我们CSO亲自带队的一款工具,它的功能特别简单,就是技战法的总结提炼以及固化。方法都是有效的,产品体验还要不断地完善打磨。目前原来的fofa-g老用户可以通过 https://octra.fofa.vip 体验。

这个阶段对我而言告一段落,对octra团队而言才刚刚开始。任何一个领域都需要沉下去吃透,才有可能有所成就,一蹴而就都是不现实的,fofa也是如此。去年我们的关键字在搜索引擎查不到了,我们的流量全停了,万念俱灰。我们在痛过之后继续撸起袖子,埋头苦干,从一点一滴作起。大家说fofa的dns数据不够,我们就启动了一个很大型的计划,投入很大的资源干了几个月,现在我们非常有信心地说我们的dns数据是在行业内有绝对优势的,从上个月开始就是极大的补齐,我们并没有对外透露,相信很多用户已经能够慢慢地感受到。大家又说我们非标准端口的数据不全,我们又增加了资源增加了端口覆盖度,目前的数据量得到了很大量的提升。国外用户吐槽我们说有没英文版都算了,想买账号只有微信扫码支付算个什么事,于是我们上了PayPal支付,上了Google登录……

有些事情我觉得不是并技术问题,我们团队对于技术有着迷之自信,我们看得到的角落我们总能实现,比别人更好地实现,这是我们融入血液的标签。但是这个世界假设全部测绘完成是100分,我觉得别人是40分,那我们就50分就好了,我并不去追求100分。网络攻防毕竟跟普惠的科学不一样。如果为了拿到那些分数,代价是通过纯粹的资源堆砌,把原本不为人知的暗的一面暴露出来,可能引发新的问题,那就有点走火入魔了。所以这是一个技术与价值观对抗的过程,如果没有漏洞病毒自然也就不需要安全公司;如果没有shodan的降维打击,自然也就没有了后来各国各安全公司都投大力于网络空间测绘。这个世界没有那么多如果,只有一个如果是成立的:如果你不想落后挨打,你就必须在技术上有所突破。这个世界最近发生魔幻的事情比较多,我们希望世界和平,我们希望国泰民安,我们不希望被他人左右。

我们埋头耕耘,有时候很多美好都会不期而至。比如我一直以为Amazon的alexa排名已经停了,后来我才知道,每隔一段时间它还会自动更新:http://s3.amazonaws.com/alexa-static/top-1m.csv.zip 最新更新时间停留在了2023年2月1日。表格里面,我们的fofa.info排名已经进到了10000以内,在9983名,shodan上升到了11000名左右。这是我没有预期到的事情,我总觉得用户都是实诚的,用脚投票,宣传好不好是次要的,更重要的是产品好不好,用户会自己体验自己感受,比你说一万句要好。实际上,我们的数据证明我们的流量在2月份和3月份的提升是更为明显的。无论是alexa还有similarweb后续相信都能真实地反映出来。对应的,google的收录也回到了前三。

有时候我觉得我们浪费了一年时间,因为我们只是回到了我们最初的位置,细一想又不仅是,这个过程中,我们收获了很多经验,不是你在一帆风顺的时候能够体会到的。这种收获是外界的信任,是我们内部的团结,是我们形成的谦逊的心态。

未来如何我们无法预料,我们学会了为每一段的经历喝彩,当以后大家觉得我们举重若轻时,我们清楚背后我们遭遇了什么,每一根被风吹起的白发都是我们的一个故事。人间值得。


文章来源: http://mp.weixin.qq.com/s?__biz=MjM5NDQ5NjM5NQ==&mid=2651626368&idx=1&sn=20eb3d9426e28f4c6212a79389ed1268&chksm=bd7ed1648a095872ad7223bdf4bd89ba0868ad0720533111f62c665da47c305da2a28e9852e2&mpshare=1&scene=1&srcid=0404zUjUTQKRMRau1M9ZVVAm&sharer_sharetime=1680577366150&sharer_shareid=205c037363a9188e37dfb6bb4436f95b#rd
如有侵权请联系:admin#unsafe.sh