终其一生,我们只不过在寻找自己

0%

为什么先写P6呢,因为P4是反向传播,公式太多,P5是语法分析,枯燥乏味。为了防止没有更新下去的动力,先来写P6。接下来的三讲P6-P8都是由助教Abby讲的,逻辑超级清楚,一步一步循序渐进。爱了爱了。B站链接
P6 语言模型->RNN模型的进化,P7 LSTM,P8 Attention
附图
附上Abby靓照

阅读全文 »

之前在部署博客到github page的时候每当遇到hexo deploy,遇到了

1
2
3
git@github.com: Permission denied (publickey).
fatal: 无法读取远程仓库。
请确认您有正确的访问权限并且仓库存在。

搞的我百思不得其解,ssh和github的连接明明是搞好的。最后定位到问题是系统ssh-key代理被误删了。具体是什么操作误删我就没定位到,可能是因为用了zsh的shell之后,和之前bash的路径不对?算了,这篇就总结搭载ssh的过程。

阅读全文 »

并行计算parallel programming

更新:这门课太硬核,换课了

选这门课主要是想提高编程能力,顺便了解一下os相关知识,本科没学过操作系统和编译原理什么的,经常遇到了云里雾里的。
还有以前还去碰过CUDA,自己瞎研究深度学习的项目,最后连CUDA和TF的版本适配都没解决,害,一把辛酸泪。
第一节课遇到各种线程进程cache,中文都不知道是啥,听得云里雾里的。

阅读全文 »

这是学校csit5500的一门课,听着名字就知道很经典。第一节课主要是算法评估,排序,搜索树,红黑树

算法评估

这一节就解释,为什么用O(n)来表示算法的复杂度。

  • 不能简单用cpu的时间,因为不固定
  • 不同级数之间差异大,同一个级数内差异不大
阅读全文 »

在11月底面试通过(面试参考之前的准备Q音推荐实习面试的笔记),开始到腾讯音乐推荐组实习,到上周离职,总共历时2个月3周,排除过年放假的两周,工作9周,50天左右。对于我来说,这是第一次技术岗的实习,虽然大二的时候去YY也做过技术岗,不过那个时候就是写SQL,而且也写得不好😂,算不上技术岗。

阅读全文 »

本节课主要是:
分类器回顾,神经网络回顾,NER Named Entity Recognition,窗口词分类,矩阵计算回顾。总体是回顾旧知识,以及nlp任务的举例,快速过一下。

分类

分类问题很常见了,对于NLP来说:

阅读全文 »

CS224n-2 word2vec, word Senses

这节课我不按课堂讲的,引用一篇博客

word vectors and word2vec

代表技术之一 word2vec

2013年,Google团队发表了word2vec工具 [1]。word2vec工具主要包含两个模型:跳字模型(skip-gram)和连续词袋模型(continuous bag of words,简称CBOW),以及两种近似训练法:负采样(negative sampling)和层序softmax(hierarchical softmax)。值得一提的是,word2vec的词向量可以较好地表达不同词之间的相似和类比关系。

阅读全文 »

NLP持续升温,作为入门课程,224n声名远扬。
听了10节课之后,果然感觉不愧是斯坦福。
这门课逻辑很清晰(遇到什么问题,产生什么思路,做了什么探索模型,怎么解决问题),而不是直接的扔出来一个模型,之前遇到很多老师这样,让人摸不到头脑;这门课会讲如何做一个研究以及如何写一篇paper。这些虽然不是NLP必备,是一些普世的知识,但是课堂上不讲,学生也很难完全了解到,基本上都、是自己摸索。

阅读全文 »

最近过年在家因为疫情不能外出,随手抓了本推荐系统开始看。模型部分从传统的邻域(协同过滤)到隐语义模型(LFM)到矩阵分解模型(SVD,SVD++),FM和FFM等遇到颇多问题,在此梳理一下。

FM

FM的paper地址如下:https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf
FM主要目标是:解决数据稀疏的情况下,特征怎样组合的问题
根据paper的描述,FM有一下三个优点:

阅读全文 »