终其一生,我们只不过在寻找自己

0%

在11月底面试通过(面试参考之前的准备Q音推荐实习面试的笔记),开始到腾讯音乐推荐组实习,到上周离职,总共历时2个月3周,排除过年放假的两周,工作9周,50天左右。对于我来说,这是第一次技术岗的实习,虽然大二的时候去YY也做过技术岗,不过那个时候就是写SQL,而且也写得不好😂,算不上技术岗。

阅读全文 »

本文回顾近几十年发展过程,展望一下未来20年的发展方向。雷军说,站在风口,猪都能飞。既然大家都是猪,就要找好风口。

国家发改委首次明确「新基建」范围,具体涵盖

  1. 5G 基建
  2. 工业互联网
  3. 人工智能
  4. 大数据中心
  5. 高速公路轨道交通
  6. 新能源汽车充电桩
  7. 特高压
阅读全文 »

这一节是请的是嘉宾Ashish Vaswani讲transformer和self-Attention。Ashish Vaswani就是transformer的作者。我只能说,不愧是斯坦福。

Ashish Vaswani 从NLP讲到CV又到Music,知识真的很渊博,这也是为什么transformer是他提出的吧。感觉大神说话的时候都在发光,羡慕。

具体的内容上,并没有讲太多的transformer和self-Attention的细节,都是一些high level 的思路。之后还是得仔细整理一下细节。

阅读全文 »

越来越接近前沿了,兴奋。

预训练

预训练这个概念很重要,NLP能大放异彩也是预训练的模型做的工作的突破。
核心思想:复用底层特征。

从CV说起
最开始是在cv中使用,当我们想解决一个小数据集的任务A的时候,数据集太小往往不足以达到最优,或者训练时间太久。而我们可以用一个成熟的模型B的前几层,放在A的前面,帮助A抽取底层特征。
优点:

阅读全文 »

5004完结撒花🌸🌸ヽ(°▽°)ノ🌸🌸.

Q1

阅读全文 »

  • Subword Models 解决OOV问题

OOV: out-of-vocabulary即单词不在词汇库里的情况
之前的模型都是基于单词层面的,但是对于一个新单词“asd”没有解决方案。一个朴素的想法就是“拆分”,把长单词拆成几个单词的组合。相对于中文来说,就是一个新的词组去按照每个字的意思去理解单词的意思。
下面是解决方案。

阅读全文 »

这一节主要讲cnn在nlp中的应用,然后讲了几篇paper的思路。站在现在看CNN其实对于nlp并没有爆发性的突破,但是CNN也算是提取局部特征的思路,可以学习2017年以前那些人的尝试过程,也蛮有意思吧。

阅读全文 »

这次作业感觉有点简单啊。🤧 最后一题凭感觉写的,不知道对不对,如果有问题请在留言板告诉我。
希望大家留言板支持一下博主,打公式真的好累。☹️ 给个例子让你们参考一下。

阅读全文 »