Logo

Menu

Author: liujie

AI #算法

大模型训练挑战

文章探讨了大模型在人工智能领域的发展及其面临的挑战。随着模型和数据规模的增大，可以突破现有精度的局限，但同时也带来了训练上的难题。增加芯片数量能够加速模型训练，然而当训练资源扩大到一定规模时，分布式并行会遇到通讯瓶颈问题，限制系统性能。大模型面临的主要挑战包括“内存墙”、“通讯墙”、“性能墙”以及“调优墙”。这些问题分别指的是存储容量不足、节点间通信效率低下、计算能力受限以及模型参数调整复杂度高等方面。解决这些问题是进一步推动大模型技术发展的关键。

liujie Published on 2023-06-02
AI #算法

预训练技术简介

预训练技术简介 https://www.yuque.com/meta95/hmc3l4/bbb88hai4hqi15ua?singleDoc# 《预训练技术简介》 定义 预训练(PTM)是一种机器学习技术，它使用大量未标记的数据对模型进行训练，以使其具备某些先验知识和常识，从而提高其在各种任务上的表

liujie Published on 2023-06-02
AI #算法

大模型训练为什么那么难

https://www.bilibili.com/video/BV14Y4y1S7A2/?spm_id_from=333.337.search-card.all.click&vd_source=3b73a21c3f8d922f85cb6d54ab274d2c CPU 也可以训练模型 CPU计算单元小

liujie Published on 2023-06-02
默认分类 #其他

IaaS、SaaS 和 PaaS 区别

怎么理解 IaaS、SaaS 和 PaaS 的区别？ 如果你是一个网站站长，想要建立一个网站。不采用云服务，你所需要的投入大概是：买服务器，安装服务器软件，编写网站程序。 现在你追随潮流，采用流行的云计算， 如果你采用IaaS服务，那么意味着你就不用自己买服务器了，随便在哪家购买虚拟机，但是还是需要

liujie Published on 2023-05-23

面试问题

训练并行 https://zhuanlan.zhihu.com/p/607905738 训练加速 NAS 原理 flannel 网络原理 GPU 拉远一些名词： PCIE 总线 RDMA

liujie Published on 2023-05-20
DevOps #操作系统

TCP 3次握手4次挥手

TCP 3次握手4次挥手 https://www.51cto.com/article/740025.html

liujie Published on 2023-05-12
DevOps #数据库

Mysql 锁

Mysql 锁 https://blog.csdn.net/wgzblog/article/details/127281354

liujie Published on 2023-05-12
AI #算法

AVL树、红黑树以及B树介绍

AVL树、红黑树以及B树介绍 https://www.cnblogs.com/sxkgeek/p/9349931.html

liujie Published on 2023-05-12
AI #算法

对数：log lg ln 的区别是什么

本文介绍了对数函数log、lg和ln的区别及数学常数e的相关知识。对数函数中，lg是以10为底的对数，ln是以自然对数的底数e（约等于2.71828）为底的对数，而log则可以表示以任意正数为底的对数，具体底数通常会在符号下方注明。e是一个重要的无理数，在微积分、概率论等多个领域都有广泛应用。它最初由瑞士数学家欧拉在研究复利计算时提出，并且被定义为当n趋近于无穷大时(1+1/n)^n的极限值。此外，e还与自然对数有着密切联系。

liujie Published on 2023-05-12
编程语言 #Java

JDK1.8 HashMap源码分析

JDK1.8 HashMap源码分析 https://www.cnblogs.com/xiaoxi/p/7233201.html

liujie Published on 2023-05-12
Previous Next