你家老板被抓了吗,七成数据接口被切断

关于大数据行业的未来,从业者认为,“持牌”将是一个关键词。

“出国的出国,被抓的被抓”,这已成为大数据领域目前的常态。

原标题:数据行业的至暗时刻:大量公司被查,从业者停工观望 这一周,整个大数据行业如履薄冰。 最开始是三家大数据公司被查,上周五,快钱支付被调查,昨天夜里,公信宝也传出消息,公司门口被贴了封条。 今天上午,又传...

最近三个月,多家数据公司被调查,数据行业动荡不断。

出国的出国,被抓的被抓,这已成为大数据领域目前的常态。

原标题:数据行业的至暗时刻:大量公司被查,从业者停工观望

行业持续收紧,七成数据接口被切断。

擅长清洗数据的大数据行业,现在轮到自己被清洗了。这三个月以来,大数据行业面临了最严厉的整顿,多家数据公司被调查,数据行业动荡不断;行业持续收紧,七成数据接口被切断......

这一周,整个大数据行业如履薄冰。

一些大数据公司的爬虫团队被全部裁员,大量人员主动离职。据统计,最近起码有数万员工流出,行业人员流失率在50%以上。

你家老板被抓了吗?几乎成为大数据行业从业人员的日常问候语。被捕,裁员,查封......这些敏感的词语在动荡的数据行业中已经不稀奇。行业面临严厉整顿的同时,大量数据公司的爬虫团队被整体解散裁员,数万员工流出,行业人员流失率在50%以上。

最开始是三家大数据公司被查,上周五,快钱支付被调查,昨天夜里,公信宝也传出消息,公司门口被贴了封条。

各家大数据公司的CEO每天都在朋友圈打卡,证明我没被抓,我的公司也还在。

早两年,大数据行业因其高深、精准、实用等特质,处处显示着它是蓝海,是未来。不过真的应用起来,却一点都不是和平和爱。当它碰到野蛮生长的互金行业,甚至变得充满阴暗、罪恶甚至杀戮。这一轮被整顿的主要是数据公司的爬虫业务,而被整顿的导火索,正出在现金贷、P2P等互联网金融行业身上。

今天上午,又传出天翼征信被调查的消息。

而另一边,合规的、有国资背景的大数据公司,却迎来了好时候。有的公司在短短三个月内,每个月业务翻一番。

数据行业跟互金行业深度捆绑,大数据中的爬虫业务乱象,正是非法现金贷这条毒蛇的七寸。随着互金行业这两年的合规、出清和整顿,数据行业也面临着大面积的清洗、剿匪。

" 整个行业都快抓没了。" 多位数据行业从业者表示,他软文网们已经基本停工观望。

有人说,这是行业面临的最大生死劫:有人死,却也有人生

- 1 -

接近监管的知情人士透露,几十家大数据公司已进入调查名单," 这只是前戏 "。

01行业大劫

前所未有的严厉整顿

数据行业,可能面临诞生以来最艰难的时刻……

大数据行业,突然间被踩了刹车。

大数据行业在今年秋季遭遇了一次前所未有的严厉整顿。也许,这是数据行业面临的最大生死劫:有人死,也有人生

01 天翼征信

最近三个月,大数据公司人员被抓捕、被调查的消息不断传出,行业人人自危。

9月,摩羯科技、新颜科技、公信宝等公司相关人员相继被调查;随后,行业巨头同盾科技被传出解散整个爬虫部门;头部贷款超市平台信用管家被警方突击调查。

多位业内人士爆料称:"9 月 12 日上午 11 点多,天翼征信的总经理、副总经理以及市场人员被警察带走。"

多家金融机构称,它们合作的数据接口,大部分都被切断,70%的接口断了,其他的很多也不稳定,一周换了三次。

10月,51信用卡等多家涉及大数据业务的服务商被查;

" 带走了约十人。" 一位知情人士透露," 但他们并没有拷手铐,应该是协助调查。"

首先停掉的,是各种爬虫产品。

11月,拉卡拉控股的考拉征信等7家科技公司被查;

而一位天翼征信内部员工透露:" 因为我们跟前面两家被调查的公司有合作,去主动说明情况。"

一家大数据公司的创始人于建瑞,发现第二家爬虫公司被抓后,在公司召开了紧急会议。

无论是行业巨头还是小公司,都在这个秋天清晰地感受到了萧瑟。瑟瑟发抖的瑟。

天翼征信官网显示,该公司成立于 2014 年,是中国首家运营商旗下征信机构,属于电信控股的子公司。

爬虫部门业务暂停,数据库和服务器上所有的爬虫数据全部删除,即便是脱了敏的。于建瑞决定壮士断臂。

继今年初315晚会爆出一些大数据公司窥探、交易用户数据后,这个行业的整顿就没停过。有媒体报道,不少金融机构合作的数据接口,70%都被切断了;剩下的30%也不稳定,一周换三次。

" 连国企都开始被调查了,可见数据行业的整顿力度之大。" 多位数据行业从业者认为,大数据行业自诞生以来最大的行业地震到来。

删除数据的第二天,爬虫部门马上裁员十几人,转岗十几人。

多米诺骨牌仍在继续推倒。整顿还在继续,谁也不知道下一家又会是谁?因此,朋友圈里有人开起大数据公司的玩笑,你家老板被抓了吗?

目前来看,数据调查确实会拔出萝卜带出泥,被调查公司的合作公司都 新闻发布网可能被牵连。

第三天,整个爬虫部门从公司完全消失。于建瑞花了三天时间,将爬虫业务抹除。

行业人人自危。一家大数据公司创始人于建瑞在接受媒体采访时说道,最近各家大数据公司的CEO每天都在朋友圈打卡,比运动打卡还勤快,其潜台词则是我没事,我们公司也还好着呢。

前面一家爬虫公司被调查之后,与之合作的一家金融科技机构也被警方要求协助调查。

紧接着切断的,是三要素验证。

行业面临洗牌,其实也是一次资源重新配置的机会。有公司在这轮整顿里永远消失,也有一些因此活得更加滋润。

" 选对合作伙伴很重要。" 尽管第二天,这家金融科技公司的人被放了出来,但业务也受到了影响。

在过去,各大运营商下面,都接了很多代理商,后者会提供数据接口,进行电话、姓名等要素的验证。

一些公司大量裁员关停爬虫业务的同时,另一些合规的、有国资背景的大数据公司,却门庭若市。有的公司在短短三个月内,每个月业务翻一番。

现在,整个数据行业,包括与数据行业合作较多的行业,都噤若寒蝉,如履薄冰。

最近电信停了很多代理商,现在基本不接了。于建瑞称,最开始暂停的是电信,现在联通和移动也在缩减代理商。

在这轮整顿中,首先停掉的,是各种爬虫产品。

02 抓捕重点

而各种多头借贷产品,也纷纷下架。

大数据公司获取数据的方式主要依靠第三方机构授权、关联方或场景的数据以及爬虫业务。其中获取成本最低、触及领域最广、所得信息最详细的就是爬虫业务。数据爬取,理论上是有红线的,要求遵循一定协议和规则,大数据公司才能实现自动获取网站站点的信息和数据。但现实中,规则往往被忽略或简化。

这两年,大数据行业的发展极为迅速。

天创、有盾的多头借贷产品都停了,市面上基本找不到多头借贷的产品了。于建瑞称。

2016年摩羯科技给玖富定制了一个爬虫软件,据说曾爬过100多家同业的数据,包括用户名、密码等。这家公司还设计了一款支付宝爬虫产品,可以帮公司拿到支付宝用户的真实姓名、手机号、收货地址、近一年的购物信息,甚至详细到每笔交易的金额。

其在金融领域的应用,尤其激进:爬取通讯录,借贷用户数据被随意贩卖,以进行电话、短信营销,等等。

金融监管则开始要求自查。

爬虫所得的信息只要能被多次出售,就稳赚不赔。媒体曾报道,在一个二手商品交易平台上,一份简历的收费标准0.25元,一份判决书低至1毛钱,一篇论文不到1块钱。

这其中,有黑色的操作,有灰色的操作,但行业唯一没有找到的,是 " 光明正大的合规操作 "。

11月6日,中国互联网金融协会向会员机构发布《关于增强个人信息保护意识依法开展业务的通知》,要求会员机构对数据合作方进行排查。

这些信息会被买来用于精准营销,或是精准诈骗。其实,爬虫取得的数据,最广泛的用途还是用在现金贷行业的催收环节。这也是数据公司爬虫业务首当其冲的原因。

" 行业确实还没有划好明显的边界,所以大家都是撞线式经营。" 一家大数据公司的创始人刘曦称。

很多被调查的或者有风险业务的公司,都被直接点名,监管要求自查是否和它们有过合作。于建瑞称,这其中包括公信宝、白骑士、天机数据、木立征信等多家公司。

- 2 -

谁也不知道 " 线 " 在哪里。

10月24日,一张截图在网上流传。截图显示,人行要求各地银行排查与第三方数据公司的合作情况

爬虫团队都被解散了

所以," 现在最可怕的点就是,不知道风险从哪里来,哪条业务会踩了红线,也不知道红线在哪里 "。整个大数据行业就如同黑暗森林,不知道猎人的子弹从哪里射过来。

多家金融机构的工作人员也证实了这一点:尽管不同区域的要求,可能略有不同,但都是要求停掉和风险公司的合作。

在年初被315曝光后,大数据行业就风声鹤唳。

刚开始,大家以为只抓 " 爬虫公软文推广司 ",行业排名靠前的爬虫公司都陆续被调查。

业务停滞的同时,行业也弥漫着惊恐的气息。

于建瑞发现第二家爬虫公司被抓后,立即决定壮士断臂,他要求爬虫部门业务暂停,数据库和服务器上所有的爬虫数据全部删除,即便是脱了敏的。

紧接着,公信宝、快钱支付,包括征信公司都被调查。从业者们发现,事情并没有那么简单。

于建瑞身边每天都有人失联,出国的出国,被抓的被抓。

于建瑞删除数据的第二天,爬虫部门马上裁员十几人,转岗十几人。

" 目前,网安部门联合多个部门,针对大数据行业的乱象展开了整治行动。" 据接近监管层的知情人士透露,目前已有几十家大数据公司进入了调查名单。

最近,各家大数据公司的CEO每天都在朋友圈打卡,比运动打卡都勤奋。于建瑞称,这里头的潜台词,无非是我没事,我们公司也还好着呢。

第三天,整个爬虫部门从公司完全消失。花了三天时间,一个数据公司的爬虫业务就被抹除了。

行动正在逐步展开。他表示,最近抓捕的几家公司," 只是前戏,后面的动作会更大 "。

一家场景分期平台的HR前两天约好了一个面试,结果求职者没有出现,后来听说,他被抓了。

目前很多涉及爬虫业务的数据公司都已经暂停或调整服务。而在大量的数据公司裁员中,爬虫部门几乎是全军覆没。大数据风控平台同盾科技是典型案例,9月份其爬虫负责人被查,爬虫部门解散并集体待岗。这些员工被建议不要离开杭州,否则有被抓的风险。

03发稿平台 停业观望

大数据突然成为高风险行业,行业掀起了一波离职潮。

此后,国内大部分数据公司都为自保而解散了爬虫部门。业内人士称,全行业裁掉了近万名爬虫工作人员,行业人员流失率在50%以上。

" 整个行业都快抓没了。" 一个大数据群里的网友调侃道," 咱这样聚在一个群,会不会哪天一起进看守所啊,到时候见面两眼泪汪汪。"

这段时间,我们收到了大量来自数据行业的人员简历。上述HR表示。

不仅仅数据行业本身,金融机构也被要求自查是否与爬虫公司有合作。11月6日,中国互联网金融协会向会员机构发布《关于增强个人信息保护意识依法开展业务的通知》,要求会员机构对数据合作方进行排查。公信宝、白骑士、天机数据、木立征信等多家被调查的或者有风险业务的数据公司被直接点名。

" 现在我每天都和其他大数据公司的朋友打个招呼,看他们有没有出事。" 一家大数据公司的创始人刘曦苦笑着说。

而各大数据公司,也开始裁员。

10月24日,一张截图在网上流传。据一本财经报道,截图显示,人行要求各地银行排查与第三方数据公司的合作情况,特别提到要求上报合作的第三方数据公司是否涉及爬虫业务。

" 业务全部暂停。" 三天前,刘曦关停了所有业务。

榜上有名的数据公司几乎都在裁员。一家金融机构的风控总监称,被裁的员工中,基本有一半都是技术人员。

其实,并非所有的爬虫业务都是非法和违规的,否则也不会有部分数据公司在这轮整顿中活得更滋润。事实上,在合理的数据应用范围内,解决用户隐私保护问题的技术手段有很多,比如说数据脱敏、权限管控、加密存储等。中腾信大数据相关负责人表示。

很多业媒体发稿平台务不是他主动关停,而是合作的甲方公司直接过来说,不做了。

这些公司的裁员率和离职率起码有50%,技术部门甚至达到了70%。

但是,数据爬虫业务中,合规的成本非常高,合作机构要使用合规的爬虫数据,要支付更高的价格。以金融领域为例,全行业合规数据来源基本可以覆盖到75%左右的需求。但通过合规途径获取数据,其成本高了大约60%。

不仅如此,曾经合作过的甲方公 媒体发布平台司,几乎都找了过来,要求他们签署 " 免责条款 " 或者 " 承诺书 "。

02成本激增

恶意爬虫的公司通过非法途径获取数据并储存,相当于在搬运其他平台的数据资产。通过这种不太光明的手段,数据公司能够以更低的价格向合作方销售数据信息,从而挤占合规企业的份额。从2012年以来,这个行业的价格战一直都在无声地演绎着,而相关部门也没有针对爬虫提出专门的法律限制或者规范。数据市场一直上演着劣币驱逐良币的戏码。

这些文件,会将各项业务的风险点列出:

实际上,金融科技发展的基础和养料,就是大数据。

- 3 -

比如:" 我公司在以往 发布新闻平台经营活动中,无违法违规记录,没有因数据归属、采集、使用等问题发生过法律纠纷或接受过行政处罚。"

整个数据行业的停滞,导致金融业务受到巨大影响。

爬虫与互金行业共生共荣

在承诺书的最后,还得加上,如果违反了这些 新闻发布平台承诺,所有法律责任都由数据公司承担。

80%的金融公司都收缩了。于建瑞称。

数据行业被整顿,其实是城门失火殃及池鱼。

数据公司和甲方开始补签 " 承诺书 "

一些平台,只能针对老客户放款,不再新增;稍微激进一点的平台,就开始凭感觉放款。

今年初,跟数据爬虫公司一起上了央视315晚会的还有714高炮。,

" 我们已经提前放假了。" 一家大数 软文平台据公司的创始人称,他们的业务没有一点违规,但也不敢营业了。

较为资深的从业者,都会对自己用户的画像有概念,大概知道哪些人是优质人群。一家场景分期平台的风控总监李扬称。

大数据行业的兴起、爆发和衰落,是紧跟在P2P网贷和现金贷行业后面的。P2P和现金贷兴起于2011-2012年,而大数据行业从2013、2014年开始兴起。

结语

他们比对着过往的好客户画像和逾期客户画像来放款,逾期率也还可控。

当P2P和现金贷在2016年开始迎来合规调整,行业需要大数据行业的进一步介入风控环节,为催收提供方便,以控制逾期率。于是,大数据行业在2017-2018年左右迎来大爆发。

目前,整个行业都在停业观望,并感受着行业诞生以来的最大震荡。

但如果想维持以前的业务量,就意味着各项成本的增加。

以行业头部平台同盾科技为例,根据此前报道,同盾科技2016年-2018年的营业收入分别为6066万元、2.61亿元、5.42亿元,呈几何级数增长。截至2018年底,同盾科技累计客户数量为2421家,完成了对互金行业90%以上的覆盖。

" 行业会 网站发稿归零吗?" 刘曦不知道,这些年大数据行业的建设和尝试,是否都会被否定,最后再推翻重建。

首先,是数据成本的增加。

当互金行业在2019年进入合规备案的后半程,大数据行业也迎来它的行业大整顿。

但毋庸置疑的是,这是刮骨疗伤必然经历的巨痛……

正规的数据公司和央行征信,其实可以覆盖行业70%到80%的数据需求。一家第三方征信机构的创始人王海峰表示。

金融行业也离不开大数据行业,要想保持一定的利润率和控制逾期率,就要通过大数据来实现。一家头部助贷平台的高管表示,前端风控弱、主要依靠贷后催收是原本现金贷平台的一大特点,而数据公司擅长利用大数据搭建风控模型。

来源:未央网

只是,金融行业需要付出更高的合规成本合规的数据,价格自然要贵一些。

因为互金行业有惊人的吸金能力,对大数据公司也有较高的支付能力。也因为这个原因,一直以来,大数据公司的业务过分集中于金融信贷领域。

它们的成本高了约60%。数据宝CEO汤寒林称。

虽然有关部门并未明示大数据行业整顿与互金行业的关系,但大数据行业里的人都心知肚明:这一轮行业整顿大概率与数据公司为714高炮平台、套路贷提供数据征信服务,非法获取和倒卖个人数据有关。

其次,是核验成本和人力成本的增加。

714高炮是指期限在7天或14天的包含砍头息的超利贷,在今年315晚会被曝光之后,被监管部门重拳整治。而为714高炮、套路贷提供土壤的数据公司,也不可避免地受到了波及。

摩托车分期服务商骑呗科技的风控专家姚奕称,受爬虫风波的影响,他们获取第三方数据的渠道减少了50%至70%。

一位消费金融平台的市场部人士接受棱镜采访时表示,那些依赖数据公司提供服务的现金贷平台,一下失去了风控能力,这几天陆陆续续在各个渠道下架自己的贷款产品。风控模型还在重新调试,估计短时间不会正常放款。

为了维持业务运转,他们只能要求用户提交更多的纸质资料,并增加人手,用人工的方式核实用户信息。

而作为一家第三方数据公司的副总裁,李亮则更能感受到实实在在的影响。在他看来,这次数据行业的震荡,比此前对于现金贷行业的整顿来得更严重,效果也更明显。

之前查询一条信息,只需要一两秒,成本在几毛钱到几块钱之间。现在靠人工核实,可能需要几分钟甚至十来分钟。

打蛇打七寸!李亮提到,大数据对于现金贷、714高炮、套路贷而言是命门,没有了数据做支撑,他们就无法放贷。

之前审核只要约10分钟,现在为30分钟。此外,人力成本也增加了30%至50%。

责任编辑:周星如

面对现在的数据困境,有一些平台尝试自建风控和爬虫。

搭建一套爬虫系统,保守估计需要6个人,至少三个月,开发成本就得200万。于建瑞称。而后期的维护成本更高。

比如说,为了反爬虫,运营商的官网动不动就会来个页面调整,爬虫系统就得跟着改。于建瑞称,后期每个月的维护成本,还得50万。

而自建风控系统的难度,同样意味着人力成本的高昂。

整个金融体系的成本,保守估计增加了50%左右,人力、数据的成本大幅度增加,效率也会下降很多。于建瑞称。

03未来如何

这不是数据行业的第一次大洗牌。

数据行业最早的一批从业者都记得,早在2012年前后,中国的数据行业就曾经遭遇过一次大洗牌。

2012年,央视315晚会曝光罗维邓白氏非法获取、买卖公民个人信息。罗维邓百氏全员被上海警方带走。

2012年,央视315晚会对罗维邓白氏的曝光截图

那一次之后,数据行业的暴利链条被打断,绝大部分从业者离开。

留下来的人,也心怀敬畏,不敢越界。

上一次实际上是为了捍卫数据主权,而这一次和上一次有本质的区别,是为了维护稳定金融和数据结合得太深,暴力催收和套路贷引发了很多极端案件。在数据行业有15年工作经验的资深从业者丁一称。

但现在市面上这些主流的大数据公司,大部分都是在2012年之后创立的。它们没有经历过上一次洗牌,也没有感受过历史的教训。

数据行业是一个什么样的行业,底线在哪里,他们中,大部分人并不知道。丁一称。

而这一次和上次一样,大量人员离开,暴利链条被打断。

历史如此相似,数据行业仿佛又走完了一个轮回。

丁一认为,这次洗牌也许并非坏事行业重新回到一个新的起点,新的底线也被划好。

而在腥风血雨中存活下来的合规公司,也渐渐熬出了头。

在过去,合规的数据公司根本活不下去,因为我们要付出更高的合规成本。汤寒林称。

他举例称,他们并不缓存任何一条数据。

而行业大部分的玩家,都是将调取的数据偷偷存起来,当数据越积越多之时,数据公司就可以直接用缓存库里的数据,不再需要从接口调取。

于是它们的销售价格就可以压到极低,多卖一单就是赚。

它们价格便宜,而且因为已经缓存下来了,所以响应时间也会比我们快。 汤寒林说。

在惨烈的市场竞争中,劣币将驱逐良币。

而如今,合规的数据公司成为了香饽饽。

一家有国企背景的数据公司创始人透露:最近三个月,我们每个月的业务量都翻一番。

而一些巨头旗下的大数据平台,也突然间变得门庭若市。

排队等着接我们的服务,咨询量也暴增。一家巨头旗下的云平台销售称,他们最近正准备扩充团队。

关于大数据行业的未来,从业者认为,持牌将是一个关键词。

或许,第三方大数据公司将会持牌经营。一家数据公司的负责人夏睿预测,到那时,行业内应该只剩下几家头部公司,小公司存活的可能性不大。

合规、持牌,可能会成为未来大数据行业的主旋律。

丁一认为,一个行业从草莽到合规,确实要经历几个周期,只有暴利链条被打断,这些守规矩的人,才可以重新奔跑。

你还准备留在大数据行业吗?最近,很多人问于建瑞。

市场和需求还在,只是划了新的跑道,我还是会在。他说。

只是这一次,他会更加心怀敬畏。

*文中部分受访者为化名。

责任编辑:周星如

本文由澳门威斯尼人平台登录发布于澳门威斯尼人平台登录,转载请注明出处:你家老板被抓了吗,七成数据接口被切断

相关阅读