首页   >   新闻   >   文章

也学点算法,BART 是交通工具吗?
- 2024 -
05/18
18:15
零号员工
发表时间:2024.05.18     作者:Jingyi     来源:搜狐网     阅读:134

认识的朋友应该知道,校招毕业后我进入了阿里达摩院,做一些 nlp 的算法工作。后来去了淘特做一些搜索算法的优化。

在达摩院的时候,当时主要是围绕 bart、unilm 等做一些生成算法的工作,我们当时团队负责数字人的直播业务,一切都很新鲜。如果我们当时有 chatgpt 的话估计当年绩效就 4.0 了(在chatgpt的加持下,b站到处都是数字人的直播)。

遗憾的是,技术的前瞻性很好,但缺乏了 llm 这个引擎。 x蜂会的时候,感觉海青老师说数字直播几个业务线,整体非常的 up。后来很久都没见到让人非常 up 的项目。

很多老板会强调,事情做好了,公司会怎么怎么样,但人员会怎么怎么样是缺位的。这可能反应出一个问题,20 年阿里巅峰期以后进入阿里的同学和之前的老阿里人是两个阶级、两种认知,后者可能经历过阿里的繁盛期,认为公司的进步肯定会带来自身的进步,但前者可能会感觉鸡同鸭讲,他们看到的可能是加班没有调薪、对公司没有预期而只有可能的裁员预期、20 公里的通勤距离,这些是每天都在发生的鸡零狗碎,人应该有同理心。

我们谈人员的进步无非是能力、薪酬、自我价值实现的三方面,但观察来看,在阿里这三方面未来可能都会越来越困难。

平心而论,我非常认可六脉神剑的价值观,毕业没有去 pdd 等其他公司,也是因为认可阿里的价值观和达摩院的学术氛围。但价值观变成一种考核方式是否正确值得商榷,考核往往会带来文质之争。罗素说:须知参差多态,才是世界本源。一个人的三观是后天形成不易变革的,虽然思考习惯有诸多不同,但君子和而不同,小人同而不和。

如果评价一个人,要先问问味,比如不会来事的不要、学生气太重的不要。公司又不是种庄稼,收成这么容易,叫个老农来也行。子曰:小人哉,樊须也。这样的土壤上,难以长出通用人工智能的参天大树也是理固宜然。

另一方面,阿里应该算是弱矩阵形式的组织架构。事权主要在 pm,人的管理权力在主管,这样的组织比较接近职能型组织。

优点很明显:

1.资源利用率相对较高。专职部门事务,兼职项目工作;

2.团队成员工作稳定连续,定员定岗、下岗无风险、晋升有路线。

缺点也很明显:

1.部门利益优于项目利益,具有狭隘性,决策速度慢;

2.项目经理权力没有或者很小,部门之间联系薄弱、协调难度大。

我始终认为,什么事情要依赖人本身就是巨大的风险,人本身就是最大的风险。没有合理的制度设计而希望天降伟人,大抵是难以熬过两个世纪的。这又不是文明6,大工祭天,法力无边。

在阿里我真的见识过很多同仁践行阿里的价值观,为阿里和社会做贡献,我们知道那是某种正确的形式。也见过一些没有视人为人、缺乏同理心的案例。一个二十万人的组织,管理必然不是一个轻量级问题。最后,还是希望老东家越来越好,做到真正的以终为始,因为相信所以看见。

非常感谢第一年的时候,主管和师兄们带来的职业培养,后面在淘特碰到的同仁们也非常nice。

最近从阿里离职了

名词解释

1.什么是 BART?

BART是Bidirectional and Auto-Regressive Transformers的简写。论文,BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension。

本次放出了三组不同的预训练权重:

1.bart-large:基础预训练模型;

2.bart-large-cnn:基础模型在 CNN/Daily Mail Abstractive Summarization Task微调后的模型;

3.bart-large-mnli:基础模型在MNLI classification task微调后的模型。

去年10月,来自Google和Facebook的团队分别发布了新的Transformer-related论文:T5和BART。 这两篇论文在如抽象总结和对话等生成任务上都取得了更好的下游性能,主要有两个改变:

在BERT的双向编码器架构中添加因果解码器;

1.用更复杂的预训练任务代替BERT的完形填空任务。

2.现在让我们更深入地研究Seq2Seq预训练思想!

BertSumABS来自论文《Text Summarization with Pretrained Encoders》,使用Seq2Seq结构,但没有对解码器进行预训练。 TransformerAbs来自同一篇论文,使用稍小的模型,并且也没有预训练。

1.PT-Gen来自论文《 Get To The Point: Summarization with Pointer-Generator Networks》

2.UniLM是一种“ Prefix-LM”,具有与Bart和T5相似的masking策略

BART原理简介与代码实战

其他资料

【论文精读】生成式预训练之BART

生成式预训练模型:UniLM、BART、T5、GPT

BART原理简介与代码实战



原文链接

长按/扫码,有您的支持,我们会更加努力!







TOP 5 精选
回到顶部   回上一级
写文章

最新资讯




直播笔记


热点话题


精品论文


有你的鼓励
ShoelessCai 将更努力





文档免费。保护知识产权,保护创新。