碎片笔记

1.jpg

  1. 网易云MP3外链
    http://music.163.com/song/media/outer/url?id=ID数字.mp3(ID歌曲链接最后有)

  2. 机器学习基础数学书
    主要讲了向量、矩阵、最小二乘。

  3. NVTOP
    终端多GPU监视工具

  1. Tensorboard运行
    tensorboard --logdir="log"

  2. 使用命令行把notebook转为python文件
    jupyter nbconvert --to script [YOUR_NOTEBOOK].ipynb

  3. np.random.rand 返回一个或一组服从“0~1”均匀分布的随机样本值。随机样本取值范围是[0,1),不包括1
    np.random.randn 返回一个或一组服从标准正态分布的随机样本值。标准正态分布是以0为均数、以1为标准差的正态分布,记为N(0,1)。

  4. tf.Print(需要看的tensor, 具体要输出的数据, 输出信息的前缀, summarize=每个tensor打印的条目数量)
    sess.run(tf.Print(w, [w, w.shape], message="w message"))

  5. 邱锡鹏:神经网络与深度学习

  6. Tqdm 功能:显示进度条
    tqdm.gif

  7. Keras画图:sudo apt-get install graphviz

  8. 两个多目标优化的库,有空写写这两个库的效果

  1. 写给NLP研究者的编程指南

  2. 支持多语言的文本标注工具——doccano

  3. fast.ai远程jupyter服务器配置(GPU)

  4. Practical Text Classification With Python and Keras

  5. 中文命名实体识别 (TensorFlow)

  6. 动态可视化:一步步拆解LSTM和GRU

  7. 关于Attention和Transformer的几篇文章:、

    1. Attention机制简单总结
    2. Attention机制详解(二)——Self-Attention与Transformer
    3. 草稿纸上的seq2seq模型与Attention机制
    4. The Annotated Transformer
    5. 聊聊 Transformer
    6. 当我们在聊Attention的时候,我们实际在聊什么
  8. 词向量与预训练模型

  9. 区别迁移学习和预训练模型:

    • 把模型的所有参数保存起来, 都可以宽泛地叫做预训练, 所以预训练比迁移学习宽泛的多. 我们并不设限预训练的保存模型未来的用处 (部署 or 继续优化 or 迁移学习)
    • 把预训练的模型用在其他应用的训练可以称为迁移学习.
  10. 一个不错的AI博客:http://nooverfit.com/wp/

  11. 关于代码加速的几篇文章:

    1. python的numba加速
    2. 使用GPU加速numpy运算
    3. CUML
    4. TensorFlow如何充分使用所有CPU核数,提高TensorFlow的CPU使用率,以及Intel的MKL加速
  12. Google图片压缩工具

  13. Adaptive Softmax for Keras

  14. 预训练词向量文章:

  15. 腾讯词向量精简

    1. 遴选需要的词向量。在对应业务下大部分都属于冷僻词向量,找出能覆盖自己的业务的词向量。
    2. 词向量评价。缩减完后,建议从词相关性、词类比(“国王”+”女儿”-“男人”,相似度最高的:’王后’, ‘老国王’, ‘国王和王后’,可以用word2vec模块的model.analogy())、短文本分类(叠加求和)、kmeans(hyper-tool一个多维降维到三维的可视工具)这些方法大概判断能不能用在你要做的业务语料上用起来。
    3. 可能不适用所有领域,比如专利等特殊领域,在手头有比较多的预料下还是要自己单独训练。
  16. LSTM与GRU

  17. 基于PyTorch重写sklearn,《现代大数据算法》电子书下载

  18. Skulpt 是一个用 Javascript 实现的在线 Python 执行环境,它可以让你轻松在浏览器中运行 Python 代码。使用 skulpt 结合 CodeMirror 编辑器即可实现一个基本的在线Python编辑和运行环境。地址:http://www.skulpt.org/

  19. linux 查看本地IP

  20. python开启FTP本地服务器
    简单的服务器

  21. 安装pytorch: conda install pytorch torchvision -c pytorch

33.Linux命令:

1
2
3
4
5
6
7
8
//查看当前目录下各个文件及目录占用空间大小
du -sh *

//删除logs文件夹下的所有文件,而不删除文件夹本身
rm -rf log/*

//复制源文件夹到目标文件夹下
cp -r 源文件夹 目标文件夹

34.pip自动生成和安装requirements.txt

生成requirements.txt文件

1
pip freeze > requirements.txt1

安装requirements.txt依赖

1
pip install -r requirements.txt