高中教师养出40亿美元超级独角兽Stable Diffusion背面的数据集创立者
来源:贝博米乐体育    发布时间:2024-02-02 04:14:46 |阅读次数:110

  打造了国际最大的免费开源数据集,却从未从中收取过一分钱,也婉拒了各类作业的约请。

  两年前他创立了LAION(相当于CLIP图文数据集),现在被用在一切生成模型,包含谷歌Imagen、Parti,以及冷艳全球的Stable Diffusion。

  就连Stable Diffuision背面公司Stability AI的创始人曾亲自来送钱时,他都表现出不以为然的姿态,确定“这个人必定是疯了”。

  一时间风景无两,吴恩达在内的科技大佬们都激动了,网友们都称其为甲方克星。

  但在德国汉堡市市郊的一间房屋内,这位高中教师舒曼(Christoph Schuhmann)却产生了对数据私有化的忧虑:

  其时,OpenAI宣布了背面要害模型CLIP的论文。论文中显现,CLIP在4亿个图画-文本对上进行了预练习,在没有精密调整的情况下,终究在各种多模态基准中完成高性能。

  由此可见数据集关于CLIP的重要性,但OpenAI并不进行揭露,它只开源了CLIP的代码和模型权重。

  于是乎,舒曼就开端在Discord收罗了一群同为AI爱好者的朋友,测验仿制OpenAI平等水平的「文本-图画对」数据集。

  没想到这一搞就搞了大半年,直到2021年8月他们初次发布了LAION-400M数据集,里边包含了4.13亿图画-文本对。

  他们用一个非盈利安排Common Crawl在2014年到2021年期间,抓取的随机HTML代码来定位网络上的图画,并将这些图画与描述性文本联系起来,终究还得依据必定规矩来过滤掉不适合的样本。

  比方,删除了一切文本长度少于五个字符;图画小于5KB的的样本;要害字带有NSFW的……几周之内,他们就具有了300万对图文对。

  数据集发布之后就收到了各种反应,被用于许多论文和试验。其间最具代表性的,便是Google Brain上一年(2022)发布的Imagen——文本生成图画的分散模型。

  与此同时,更多安排开端重视到这个非盈利安排并给予资金支撑。2021年他们就收到了HuggingFace的一次性捐献。

  其时他二话不说直接送钱,大约意思是:我给你们付出算力费用,没有一点附加条件。

  一开端咱们很置疑,但大约一个月后,咱们获得了价值近1万美元的云核算服务。

  后来,这个所谓的“疯子”创办了Stability AI,运用LAION数据集推出了Stable Diffusion,引领了生成式AI的浪潮,趁便还拐走了LAION安排的两个研讨人员。

  现在Stability AI正在寻求40亿美元(折合276亿元)估值,这首要归功于LAION供给的数据。

  据彭博社音讯,舒曼却并没有从LAION中获利,原因很简单:不感兴趣,期望坚持这份作业的独立性。

  因而他还婉拒了各类作业约请,仍旧挑选在德国汉堡当一名普普通通的高中教师。

  即便如此,跟着LAION知名度打响,他仍是避免不了地卷进到各种纷扰之中。

  现在,LAION现已发布了10项数据集,最具代表性的便是上一年3月发布的LAION-5B,由58.5亿个图画文本组成,是其时最大的免费开源数据集。

  成果一发布就遭到了不小的争议,网友们纷繁质疑其数据未经收拾,导致充满很多的不合法内容,对此LAION工程师Romain Beaumont回应:

  非标示数据集是自我监督学习的根底,这是机器学习的未来。没有人工标示的图画/文本是一项功用,而非过错。

  早在Imagen发布时,也专关于LAION-400M做出警示:由于依赖于这种未经收拾的网络数据, 集成了大模型的社会成见和约束,因而不适合揭露运用。

  据彭博社音讯,为了打造LAION,舒曼团队从亚马逊网络服务、Shopify等公司获取视觉数据,还有包含YouTube缩略图、各类新闻网站上的内容。

  对此舒曼表明,任何在网上免费供给的东西都是公平竞争,欧盟也没有人工智能法规。

  现在,LAION被逼卷进两场诉讼之中,一同是Stability AI与Midjourney等团体诉讼,被指运用艺术家的版权图片来练习他们的模型;

  而舒曼将LAION比作大信息技术海啸之上一艘“小型研讨船”,采纳海下的样本向国际展现。

  其实早在构建数据库时,他们就在运转一个自动化过滤东西,不过舒曼感兴趣的不是整理,而是从这些财物中学习。

  咱们本能够从发布的数据中过滤掉暴力,但咱们决议不这样做,由于这将加速暴力检测软件的开发。

  现在更多关于监管的主张在推进,各个科技大厂也在采纳对应的办法,比方英伟达就开源了护栏东西,来避免大模型来胡言乱语。

  但在舒曼看来,数据集不该该被监控。这也正是其时创立LAION时分的初心。

  他还正告,假如咱们企图怠慢速度、过度监管,就会有很大的风险,终究只要少量大公司能负担得起一切的正式要求。

  前段时间,在LAION与全球志愿者的合力之下,他们完成了ChatGPT最大开源平替OpenAssistant的发布。

  60万余条练习数据悉数由人工生成,涵盖了广泛的论题和言语风格,一时间引发世人重视,HuggingFace也直接拿来用来构建它自己的谈天软件HuggingChat。

  但在舒曼的个人网站上,看到的仅仅一位两个孩子的父亲,在德国当着终身制公务员,游走于中校园之间教学物理和核算机科学。

  舒曼具有维也纳大学核算机科学与物理学学位。在学习这两个专业之前,他还学了心理学。(大约完成了50%的学士学位然后就转专业了)。

  除此之外,他还在学习扮演,制作了一部关于孩子学习的纪录片「Schools of Trust」。

  最近,这位高中教师也没闲着,他还将作为2023年智源大会嘉宾参加约请陈述与线上论坛环节。

  原标题:《高中教师养出40亿美元超级独角兽,Stable Diffusion背面数据集创立者,还发布ChatGPT最大平替》

  本文为汹涌号作者或安排在汹涌新闻上传并发布,仅代表该作者或安排观念,不代表汹涌新闻的观念或态度,汹涌新闻仅供给信息发布渠道。请求汹涌号请用电脑拜访。