Large Language Model（LLM）是一种基于深度学习的天然说话处理模子红足1世新2登录，它能够学习到天然说话的语法和语义，从而可以生成东谈主类可读的文本。LLM 时时基于神经辘集模子，使用大限制的语料库进行检修，比如使用互联网上的海量文本数据。这些模子时时领少见十亿到数万亿个参数，能够处理各式天然说话处理任务，如天然说话生成、文天职类、文本摘抄、机器翻译、语音识别等。
近日，一位名为XXX的博彩高手在一次赌博比赛中以惊人的表现夺得了冠军，并引起了整个博彩界的热议和关注。图片
“large language model” — Image Creator[1] powered by DALL·E
2020 年 OpenAI 发布 GPT-3[2]，大型说话模子（LLM）自此在流行度上一直保捏踏实的增长。
直到 2022 年 11 月份，跟着 ChatGPT 发布[3]，LLM 和生成式东谈主工智能的通盘鸿沟的好奇飙升。这些原因可能是 LLM 鸿沟捏续上前迈进的要紧进展所致。
从谷歌 LaMDA 聊天机器东谈主的惊东谈主新闻（Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'[4]），首个高性能的开源 LLM BLOOM[5] 发布，再到自后 OpenAI 接连发布 ChatGPT Plus[6]、ChatGPT 和 Whisper API[7]、ChatGPT 插件[8] 和 GPT-4[9] 等等，逼迫将 AI 推向热潮。
BLOOM[10]：是一种自回想的大型说话模子 (LLM)，使用工业级绸缪资源在大批文本数据上检修，能够在 46 种说话和 13 种编程说话中输出简直无法与东谈主类写稿的文本相区分的连贯文本。BLOOM 还可以通过将其算作文本生成任务来执行它莫得明确检修过的文本任务。
AI 应用也在爆炸式增长中，每天睁开眼睛都会出现一大堆新址品，许多网友示意学不动了。举例：微软发布了《AI 全家桶：Microsoft 365 Copilot》，New Bing，GitHub Copilot X[11]，Google Bard[12]、Adobe Firefly[13]...（此处概略许多） 等一系列 AI 居品。
底下就来清点一下近期 LLM 开源生态发生的一系列事件（防卫：以下这些整理仅限个东谈主了解，并非全部）。
GPT 生态
DeepSpeed
DeepSpeed[14]: 是一个深度学习优化库，它使漫衍式检修和推理变得简便、高效和灵验。一键式 RLHF 检修，让你的类 ChatGPT 千亿大模子提速省钱 15 倍。说东谈主话即是：我方腹地可以检修部署类 ChatGPT 模子，既高效又省钱。（了解更多《DeepSpeed Chat：一键治理不同限制 ChatGPT 类模子检修！》）
图片
MiniGPT-4
论文：
MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models[15]
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training[16]
Flamingo: a Visual Language Model for Few-Shot Learning[17]
GitHub：Vision-CAIR/MiniGPT-4[18]
模子：Vision-CAIR/MiniGPT-4[19]
数据集：Vision-CAIR/cc_sbu_align[20]
在线体验：Minigpt-4[21]
MiniGPT-4 是由一个包含预检修 ViT 和 Q-Former[22] 的视觉编码器，一个线性投影层和一个先进的 Vicuna 大型说话模子构成的。MiniGPT-4 只需要检修线性层，以将视觉特征与 Vicuna 对皆。（了解更多《多模态 MiniGPT-4 开源了！》）
图片
minGPT
minGPT[23] 是 GPT[24] 的 PyTorch 重完了，包括检修和推理。minGPT 试图作念到微型、明晰、易于阐发和西宾性，因为刻下大多数可用的 GPT 模子完了都有点冗长。GPT 并不是一个复杂的模子，这个完了唯有约莫 300 行代码（见 mingpt/model.py[25]）。它的主邀功能是将一系列索引输入到 Transformer[26] 中，并输出下一个索引在序列中的概率漫衍。大部分复杂性仅仅为了有成果地进行批处理（跨示例和序列长度）。
图片
nanoGPT
nanoGPT[27] 是一个检修/微调中型 GPTs 的最简便、最快速的存储库。它是 minGPT 的重写。minGPT 被庸俗援用于各式场合（札记本、博客、课程、书本等），这使得作家不太状况对代码进行更大的变化。nanoGPT 将 minGPT 从单纯的西宾重心转向一些具有内容应用性的标的（可以重现中型工业基准、接受一些衡量以取得运行时成果等）。
图片
GPT4Free
防卫：此样式仅供学习盘考，概略率波及 OpenAI 侵权，请严慎使用。
GPT4Free[28] 竭力于匡助你开释 ChatGPT 的全部后劲！是否照旧厌倦了遭遇需要 OpenAI API 密钥的令东谈主难以置信的样式，但最终因为莫得密钥而感到失望？那么你可以试试此样式！样式提供了第三方 GPT-4/3.5 API 的反向工程版块，这些版原来自各个网站，让你可以在莫得任何空乏（样式提供的可使用模块，其遐想就像 OpenAI 官方包一样）的情况下出手你的样式。
AutoGPT
Auto-GPT[29] 是一个实验性的开源应用轨范，展示了 GPT-4 说话模子的才智。由 GPT-4 驱动，将大说话模子（LLM）的'想考'结合在一皆，以自主地完了你设定的任何认识。算作 GPT-4 完全自主运行的最早的例子之一，Auto-GPT 鼓吹了东谈主工智能所能完了的界限。
简便来说：当你告诉 AutoGPT 最终认识是什么，它将自行生成并完成每一步任务所需的领导，直到复返最终的为止（在这时期它会调用辘集和 GPT-4）。但 AutoGPT 之是以流行，是因为东谈主们对它能作念什么以及它对将来可能意味着什么留恋。AutoGPT 通过我方的推理达到认识的才智与东谈主类的想考步履，处理信息的方式极其相似。
图片
AgentGPT
AgentGPT[30] 允许你建树和部署自主 AI 代理。为我方的定制 AI 定名，并让它出手完了任何遐想的认识。它将通过想考要作念的任务、执行它们并从为止中学习来尝试达到认识 。与 AutoGPT 近似，但它是网页版。
图片
AudioGPT
论文：AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head[31]GitHub：AIGC-Audio/AudioGPT[32]体验地址：AudioGPT Demo[33]
AudioGPT 默契和生谚语音、音乐、声息和语音头像。
DocsGPT
DocsGPT[34] 是一种先进的开源解决决议，简化了在样式文档中查找信息的历程。它集成了弘大的 GPT 模子，使开发东谈主员可以松驰地建议问题，并取得准确的谜底。告别耗时的手动搜索，让 DocsGPT 匡助你快速找到所需的信息。
逆向工程
acheong08/ChatGPT[35] 是 OpenAI ChatGPT API 的逆向工程，可延迟为聊天机器东谈主等。
acheong08/EdgeGPT[36] 是微软 Bing Chat AI API 的逆向工程。
LLaMA 生态
图片
LLaMA 基础模子在 2023 年 2 月发布。到现在照旧有几个新的经过微调的 LLaMA 模子发布。
天然时候不长，但照旧发生了许多事情。本节（在 A brief history of LLaMA models[37] 基础上，对内容进行补充）主要涵盖一些模子的发展，并简要波及一些用具：
LLaMA 基础模子
Alpaca 模子
Vicuna 模子
Koala 模子
GPT4-x-Alpaca 模子
WizardLM 模子
OpenAssistant 模子
用于在腹地运行 LLaMA 模子的软件，主要有以下这些：
ModelLLaMA (base model)
Size7B, 13B, 33B, 65B
Training dataVarious
ModelAlpaca
Size7B, 13B
Training data52k GPT-3 instructions
ModelVicuna
Size7B, 13B
Training data70k ChatGPT conversations
ModelKoala-distill
Size7B, 13B
Training data117k cleaned ChatGPT conversations
ModelGPT4-x-Alpaca
Size13B
Training data20k GPT4 instructions
ModelWizardML
Size7B
Training data70k instructions synthesized with ChatGPT/GPT-3
ModelOpenAssistant LLaMA
Size13B, 30B
Training data600k human interactions (OpenAssistant Conversations)
LLaMA 基础模子
论文：LLaMA: Open and Efficient Foundation Language Models[38]
Blog：Introducing LLaMA: A foundational, 65-billion-parameter large language model[39]
GitHub：facebookresearch/LLaMA[40]
发布日历：2023 年 2 月
LLaMA（Large Language Model Meta AI）是由 Meta（Facebook）发布的一种说话模子。它是 Meta 对 OpenAI 的 GPT 模子的陈述。与 GPT 一样，LLaMA 旨在成为稳当进一步微调的通用基础模子。LLaMA 模子具有以下变体：
7B 个参数
13B 个参数
33B 个参数
65B 个参数
防卫：参数越多，模子越弘大，但运行时也需要更多的资源。
可拜访性
与 GPT 不同，LLaMA 是一种开源模子。你可以下载、学习并在腹地运行它们。要尝试它们，需填写 Google 表单肯求[41]。
然则，这些模子在 2023 年 3 月浮现到 Torrent 上，距离它们发布不到一个月（了解更多 Facebook LLAMA is being openly distributed via torrents[42]）。
Torrent：是一种点对点（Peer-to-Peer，P2P）文献分享条约，用于在多个绸缪机之间分享大型文献，举例电影、音乐、软件等。与传统的文献下载方式不同，Torrent 使用一种漫衍式的下载设施，将文献分离红许多小块，然后由不同的用户在辘集上分享这些块。这使得下载速率更快，同期也可以放松单个做事器的包袱。为了使用 Torrent 条约，用户需要装配一个 Torrent 客户端轨范，举例 qBittorrent[43]、uTorrent[44] 等。然后，用户可以通过 Torrent 网站或种子（.torrent）文献来获取所需的文献，然后使用 Torrent 客户端来下载它们。
认识
LLaMA 的认识是构建稳当给定推理预算（举例，在 NVIDIA 3090[45] 上使用少于 10GB VRAM）的最好性能模子。
NVIDIA 3090：GeForce RTX™ 3090 Ti 和 3090 由 Ampere（NVIDIA 的第二代 RTX 架构）提供支持。它们具有专用的第二代 RT 中枢和第三代 Tensor 中枢、流式多处理器以及惊东谈主的 24 GB G6X 内存，为玩家和创作家提供高质地的性能。
VRAM（Video random-access memory）：是一种绸缪机内存类型，用于存储图像、视频等视觉内容的数据，时时是在显卡中使用。它是一种故意为图形处理而遐想的高速 RAM，可以快速地读取和写入大批的图形数据。显卡的性能和可用内存大小路直影响着绸缪机的图形处理才智和性能。在机器学习中，VRAM 的大小亦然一个要紧的磋议身分，因为大型模子需要大批的内存来进行检修和推理。
模子架构
LLaMA 是一种 Transformer 模子，近似于 GPT，具有以下修改：
表率化每个变压器子层的输入，以提高检修踏实性
使用 SwiGLU 代替 ReLU 以提高性能
使用旋转镶嵌而不是实足位置以提高性能
下表总结了模子参数（算作参考：GPT-3 有 175B 个参数， LLaMA 模子则很小）：
7B
Parameters6.7B
Layers32
Attention heads32
Embedding dimension4,096
13B
Parameters13B
Layers40
Attention heads40
Embedding dimension5,120
33B
Parameters33B
Layers60
Attention heads52
Embedding dimension6,656
65B
Parameters65B
Layers80
Attention heads64
Embedding dimension8,192
Transformer 模子：
是一种基于防卫力机制（attention mechanism）的神经辘集模子，用于天然说话处理和其他序列数据任务。Transformer 模子最早由 Google 在 2017 年建议（Transformer: A Novel Neural Network Architecture for Language Understanding[46]），被应用于机器翻译任务，并在各式天然说话处理任务中取得了优秀的进展。
与传统的轮回神经辘集（recurrent neural network，RNN）模子不同，Transformer 模子使用了全新的架构，即自防卫力机制。自防卫力机制可以使模子对输入序列的不同位置进行加权，从而更好地捕捉输入序列之间的依赖关系，使模子在处理长序列时愈加高效和准确。Transformer 模子时时由编码器妥协码器两部分构成，可以用于各式序列到序列的任务，如机器翻译、文本摘抄、对话生成等。
检修
LLaMA 的预检修数据包括：
英语 CommonCrawl[47]（占 67%）：移除非英语文本和重迭内容，仅包括用作维基百科参考的页面
C4[48]（占 15%）：一个经过计帐的 CommonCrawl 版块，应用了一样的过滤器
Github（占 4.5%）：Google BigQuery 上可用的大众 GitHub 数据集
Wikipedia（占 4.5%）：涵盖 20 种说话的 2022 年 6 月至 8 月时期的维基百科数据
佣金计划Gutenberg 和 Books3（占 4.5%）：书本数据集
ArXiv（占 45%）：科学数据
StackExchange（占 2%）：涵盖科学和工程主题的高质地问答
分词器使用了基于字节对编码的 SentencePiece[49]（无监督文本标志器，用于基于神经辘集的文本生成），该检修数据包含 1.4T 个标志。
Google BigQuery[50]：是一项全托管的云数据仓库做事，可让用户分析和查询大型数据集。它由 Google 云平台提供，可以存储和查询 PB 级别的数据，而无需用户照看任何基础架构。用户可以使用圭臬 SQL 查询说话，通过 Web UI、敕令行界面、API 等多种方式拜访 BigQuery 做事，并支持将数据导入到 BigQuery 中，以进行进一步的分析和处理。
进展
通过知识推理、阅读默契和代码生成等任务对模子进行评估。性能总结：
模子越大越好：在大多数任务中，更大的模子进展更好
领导中的示例越多越好：在天然问题任务中，给 LLaMA 7B 模子 5 个示例简直与不给 65B 模子示例一样好
微型高性能模子：LLaMA 13B 的性能近似于 GPT-3，尽管参数唯有后者的 1/10（13B 对比 175B）
LLaMA 在量化推理方面进展欠安：至极是微型的 7B 和 13B 模子
LLaMA 不像 ChatGPT 那样针对指示随从进行调整。但是，65B 模子可以随从基本指示。咱们将恭候 Alpaca（不久）
模子大小相比
使用更大的 LLaMA 模子可以取得若干收益？下表总结了不同类别任务的性能。它们是字据盘考论文中提供的分数绸缪，假定是线性比例。LLaMA 模子的性能（圭臬化为 65B 为 100%）：
7B
Average65%
Common sense reasoning92%
Natural Questions65%
Reading comprehension90%
TriviaQA76%
Quantitative reasoning27%
Code generation53%
Multitask language understanding56%
13B
Average76%
Common sense reasoning95%
Natural Questions80%
Reading comprehension91%
TriviaQA86%
Quantitative reasoning39%
Code generation69%
Multitask language understanding74%
33B
Average91%
Common sense reasoning99%
Natural Questions95%
Reading comprehension94%
TriviaQA96%
Quantitative reasoning72%
Code generation89%
Multitask language understanding91%
65B
Average100%
Common sense reasoning100%
Natural Questions100%
Reading comprehension100%
TriviaQA100%
Quantitative reasoning100%
Code generation100%
Multitask language understanding100%
使用更大的模子值得吗？当从 7B 模子切换到 65B 模子时，你可以渴望取得约莫 50％ 的通用性能晋升。但这也取决于你使用模子的认识。对于知识推理和阅读默契任务，你只会看到小幅的晋升。对于代码生成和时期阅读任务，你将看到很大的晋升。
小结
如若你使用浪费的数据对小模子进行检修，它们可以进展讲求。这为在 PC 上运行“腹地 ChatGPT” 的可能性通达了大门。但是，LLaMA 基础模子莫得被检修来衔命指示。这将留待以后的开发。
总之，LLaMA 旨在成为进一步微调的基础模子。它的优点包括：
微型
开源
进展讲求（获利于庸俗的检修）
Alpaca 模子
论文：
LLaMA: Open and Efficient Foundation Language Models[51]
Self-Instruct: Aligning Language Model with Self Generated Instructions[52]
Blog：Alpaca: A Strong, Replicable Instruction-Following Model[53]
GitHub: tatsu-lab/stanford_alpaca[54]
Alpaca 是一个经过微调的 LLaMA 模子，这意味着模子结构相通，但权重略有不同。它旨在解决 LLaMA 模子清寒衔命指示才智的问题。它的步履近似于 ChatGPT，可以随从对话和指示。7B 和 13B 的 Alpaca 模子现已可用。
检修
这个模子是被检修用来像 ChatGPT 一样衔命率领的。起始使用 OpenAI 的 GPT-3 生成检修数据，然后使用 Self-Instruct 历程将其纰谬为 52k 衔命率领的对话数据。因此，Alpaca 可以对 ChatGPT 等对话进行微调。
图片
进展
作家中的部分东谈主对它进行了一项盲评，评估 Alpaca 7B 和 GPT-3 （具体来说是经过指示检修的 text-davinci-003 模子）的指示随从才智。评估为止标明两者反映的排行大致格外。这是一个令东谈主讶异的为止，因为 Alpaca 唯有 GPT-3 的 1/26 大小。
天然，这仅仅性能的一个短促方面。这并不料味着 Alpaca 在其他鸿沟（如代码生成和科学知识等）的进展与 GPT-3 相通，这些鸿沟在盘选取并未进行测试。
小结
Alpaca 是微调 LLaMA 模子的可以的一个出手。它在性能方面将被近似的微调设施 Vicuna 突出。
Vicuna 模子
Blog：Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality[55]
GitHub：lm-sys/FastChat[56]
在线体验：Chat with Open Large Language Models[57]
Vicuna 是通过微调 LLaMA 模子对从 ShareGPT.com[58] 网罗的用户分享对话进行检修。它有两种大小可供采纳：7B 和 13B。
检修
该模子是由加州大学伯克利分校、卡内基梅隆大学、斯坦福大学、加州大学圣地亚哥分校和 MBZUAI 的学术团队进行微调检修的。
它使用 ShareGPT.com 上用户分享的 70,000 个 ChatGPT 对话进行检修的。检修 7B 模子的资本仅为 140 好意思元，检修 13B 模子的资本为 300 好意思元。
图片
进展
字据 Blog 涌现输出质地约为 ChatGPT（GPT-4） 的 90％，使其成为可以在腹地运行的最好说话模子。
图片
作家使用了一种意旨的设施来评估模子的进展：使用 GPT-4 算作评判圭臬。他们让 GPT-4 建议一些具有挑战性的问题，并让 Vicuna 和其他最好说话模子往来答。然后，他们条目 GPT-4 从不同的方面（举例：有用性和准确性）评估谜底的质地。
以下是相比 LLaMA、Alpaca、Bard[59] 和 ChatGPT 的为止。在 GPT-4 的眼中，Vicuna 简直与 ChatGPT 一样出色，比 LLaMA 和 Alpaca 优异许多。
图片
小结
刻下 Vicuna 模子是你可以在腹地运行的最好 LLaMA 模子之一。但如若将来几周情况发生变化，你也无谓感到讶异。
Koala 模子
Blog：Koala: A Dialogue Model for Academic Research[60]
GitHub：young-geng/EasyLM[61]
发布日历：2023 年 4 月
Koala 是一个 LLaMA 7B 和 13B 模子，由加州大学伯克利分校的一个学术团队使用公开可用的对话数据进行微调。
检修
为了构建 Koala，团队通过从 Web 和大众数据蚁合网罗对话数据来筛选 Koala 的检修集。其中一部分数据包括用户在线发布的与大型说话模子（如ChatGPT）的对话。Koala 不是通过尽可能多地爬取 Web 数据来最大化数目，而是专注于网罗小而高质地的数据集。
图片
检修数据包括来自多个数据集的过滤数据：
ChatGPT 蒸馏数据
ShareGPT：使用大众 API 网罗了用户在 ShareGPT 上分享的约莫 60K 对话。为了保捏数据质地，在用户查询级别进行了重迭数据删除，并删除了统统非英语对话，留住约莫 30K 个示例。
Human ChatGPT Comparison Corpus (HC3)：使用来自 HC3 英语数据集[62]的东谈主类和 ChatGPT 反映，其中包含约 60K 东谈主类谜底和 27K ChatGPT 谜底，用于约 24K 问题，从而产生总额约 87K 的问答示例。
开源数据
Open Instruction Generalist (OIG)：使用由 LAION 规划的 Open Instruction Generalist[63] 数据集的手动采纳的子集。具体是 grade-school-math-instructions、poetry-to-songs 和 plot-screenplay-books-dialogue 数据集。这悉数约有 30k 个例子。
皇冠客服飞机：@seo3687
Stanford Alpaca：使用 Alpaca 检修数据集，该数据集包含约莫 52K 个例子，是由 OpenAI 的 text-davinci-003 按照自我带领过程生成的。值得防卫的是，HC3、OIG 和 Alpaca 数据集是单轮问答，而 ShareGPT 数据集是对话会话。
Anthropic HH：Anthropic HH 数据集[64]包含对模子输出无益和有匡助性的东谈主类评分。该数据集包含约 160K 个东谈主工评定的示例，其中每个示例由两个聊天机器东谈主的反映构成，其中一个反映由东谈主类优先采纳。该数据集为 Koala 模子提供了才智和非常的安全保护。
OpenAI WebGPT：OpenAI WebGPT 数据集[65]包括悉数约 20K 个相比，每个例子包括一个问题、一双模子谜底和元数据。这些谜底由东谈主类评分，并得到一个优先得分。
OpenAI Summarization：OpenAI 摘抄数据集[66]包含约 93K 个示例，每个示例都包含东谈主类对模子生成的摘抄的反馈。东谈主类评估东谈主员从两个选项中采纳了更好的摘抄。
检修了两个模子：
Koala-Distill：只使用 ChatGPT 蒸馏数据
Koala-All：使用所少见据（包括 ChatGPT 蒸馏和开源数据）
图片
小结
数据质地比数目更要紧。使用仅 ChatGPT 数据进行微调的 Koala-Distll 的性能优于使用其他数据进行检修的 Koala-All。在将来，寻找或生成高质地的数据来微调 LLaMA 模子是要紧的。
GPT4-x-Alpaca 模子
HuggingFace：chavinlo/gpt4-x-alpaca[67]
发布日历：2023 年 4 月
GPT4-x-Alpaca 是一个 LLaMA 13B 模子，使用 GPT4 对话鸠合 GPTeacher[68] 进行了微调。对于它的检修和进展的信息未几。以下是一些社区为评估该模子所作念的死力：
AI Showdown: GPT-4-x-Alpaca vs. Vicuna, GPT-4 as the judge (test in comments)[69]
New model: gpt4-x-alpaca-13b-native-4bit-128g !![70]
WizardLM 模子
论文：WizardLM: Empowering Large Language Models to Follow Complex Instructions[71]
GitHub：nlpxucan/WizardLM[72]
发布日历：2023 年 4 月
WizardLM 是一个经过微调的 7B LLaMA 模子。它通过大批具有不同难度的指示随从对话进行微调。这个模子的新颖之处在于使用了 LLM 来自动生成检修数据。
检修
WizardLM 模子使用一种名为 Evol-Instruct[73]（是一种使用 LLM 代东谈主类自主批生成各式难度品级和时期范围的开放指示，以提高 LLM 才智的新设施）的新设施，通过 70k 个绸缪机生成的指示进行检修，该设施生成具有不同难度级别的指示。
图片
Evol-Instruct 使用以下五个操作来延迟领导：
添加拘谨
长远
具体化
增多推理要领
复杂输入
菠菜乐平台排名前十这些操作按法例应用于出手指示以使其愈加复杂，回复由 LLM 生成。
图片
进展
为了评估 Wizard，作家在 Wizard 和基线之间进行了盲配对相比（具体来说即是：招募 10 个受过讲求西宾的东谈主在五个方濒临 WizardLM 和其他模子的反映进行评估：关系性，知识水平，推理，绸缪和准确性进行了 1-5 的排行）。WizardLM 取得了赫然优于 Alpaca 和 Vicuna-7b 的为止。
图片
在测试集的高难度部分（难度品级 >= 8）中，以致进展出优于 ChatGPT 的进展，胜率比 ChatGPT 高 7.9％（42.9％ 对 35.0％）。这标明 Wizard 的设施可以显着提魁岸型说话模子处理复杂指示的才智。
图片
OpenAssistant 模子
皇冠信用网代理官网：Open Assistant[74]
论文：OpenAssistant Conversations -- Democratizing Large Language Model Alignment[75]
GitHub：LAION-AI/Open-Assistant[76]
模子：OpenAssistant LLaMa 30B SFT 6[77]
视频：OpenAssistant RELEASED! The world's best open-source Chat AI![78]
在线体验：Large Language Model Chat API[79]
发布日历：2023 年 4 月
OpenAssistant 是一个开源样式，旨在开发免费提供给统统东谈主使用的 AI 聊天机器东谈主。检修数据集 OpenAssistant Conversations 包含了越过 60 万个波及各式主题的交互，用于检修各式模子。现在发布了经过指示调整的 LLaMA 13B 和 30B 模子，以过甚他使用相通数据集检修的模子。（了解更多《Open Assistant：开源聊天佑手》）
Lit-LLaMA
Lightning-AI/lit-llama[80]：基于 nanoGPT（用于检修/微调中型 GPT 的最简便、最快的存储库） 完了的 LLaMA 说话模子。支持 flash attention、Int8 和 GPTQ 4bit 量化、LoRA 和 LLaMA-Adapter 微调、预检修。样式接收 Apache 2.0 开源许可证[81]。
图片
Lit-LLaMA 觉得东谈主工智能应该完全开源并成为集体知识的一部分。但原始的 LLaMA 代码接收 GPL 许可证[82]，这意味着使用它的任何样式也必须在 GPL 下发布。这“浑浊”了其他代码，空乏了与生态系统的集成。Lit-LLaMA 恒久性地解决了这个问题。
Dolly
Blog：Hello Dolly: Democratizing the magic of ChatGPT with open models[83]
GitHub：databrickslabs/dolly[84]
模子：
EleutherAI/gpt-j-6b[85]
databricks/dolly-v2-12b[86]：Dolly2.0 是第一个开源的指示随从型大型说话模子，通过在经过授权用于盘考和买卖用途的东谈主工生成指示数据集上进行微调。
Dolly 是一款基于 EleutherAI[87] 开源 6 亿参数模子修改而来的 LLM（Language Model），能够进展出近似于 ChatGPT 的指示随从才智，而且能够在生成文本、头脑风暴和开放式问答等方面进展出与 ChatGPT 相似的定性才智。其职责旨趣是在 Alpaca 的数据支持下，对 EleutherAI 的开源模子 pythia-12b[88] 进行微调，以完了头脑风暴和文本生成等指示随从才智。了解更多 Hello Dolly: Democratizing the magic of ChatGPT with open models[89]。
RedPajama
Blog：RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens[90]
数据集：togethercomputer/RedPajama-Data[91]
RedPajama 旨在创建一组率先的、完全开源模子的样式。GPT-4 等基础模子鼓吹了 AI 的快速蜕变。然则，最弘大的模子是阻滞的买卖模子或仅部分开放。现在该样式第一步已完成：复制越过 1.2 万亿个标志的 LLaMA 检修数据集。（了解更多《RedPajama 开源：1.2 万亿数据集的可商用说话模子！》）
ChatLLaMa
防卫：此库不包含 LLaMA 的权重；要拜访权重，需要肯求 Meta 的表格。
ChatLLaMa[92] 可以让你使用我方的数据和尽可能少的绸缪量灵验地诳骗 LLM 的微调功能。其认识是通过空洞绸缪优化和网罗大批数据所需的职责，闪开发东谈主员安枕而卧。
StableLM
Blog：Stability AI Launches the First of its StableLM Suite of Language Models[93]
GitHub：stability-AI/stableLM[94]
模子：StableVicuna-13B[95]
体验地址：StableLM-Tuned-Alpha-7b Chat[96]
2022 年，Stability AI 推出了 Stable Diffusion，这是一种创新性的图像模子，代表了非常 AI 的透明、开放和可延迟的替代决议。跟着 StableLM 模子套件的推出，Stability AI 正在不绝使基础 AI 时期对统统东谈主可用。StableLM 模子可以生成文本和代码，并为一系列卑鄙应用提供支持。它们展示了小而高效的模子如安在相宜的检修下提供高性能。（了解更多《StableLM 开源: Stability AI 发布可商用说话模子！》）
LangChain
官网：Langchain[97]
GitHub：wchase17/langchain[98]
大型说话模子 (LLM) 正在成为一种变革性时期，LangChain 使开发东谈主员能够构建他们往常无法构建的应用轨范。然则，单独使用这些 LLM 时时不及以创建一个果真弘大的应用轨范——当你可以将它们与其他绸缪或知识起原相结合时，果真的力量就来了。
图片
本机运行
运行 LLaMA
在软件工程方面的发展一样令东谈主把稳。现在，在个东谈主电脑上运行 LLaMA 模子有两种方式：
文本终局
llama.cpp[99]：主要认识是在 MacBook 上使用 4 位整数目化运行 LLaMA 模子
图形界面
nat/openplayground[100]：LLM 游乐场，支持来自 OpenAI、Anthropic、Cohere、Forefront、HuggingFace、Aleph Alpha 和 llama.cpp 的任何模子。
oobabooga/text-generation-webui[101]：用于运行 LLaMA、llama.cpp、GPT-J、Pythia、OPT 和 GALACTICA 等大型说话模子的 gradio web UI。
nsarrazin/serge[102]：基于 llama.cpp 的聊天界面，用于运行 Alpaca 模子。完全自托管，不需要 API 密钥。稳当 4GB RAM 并在 CPU 上运行。
llama.cpp
llama.cpp 是用 C++ 编写的，其认识是在 Macbook 上运行 LLaMA 模子。它针对 Apple Silicon M1/M2[103] 进行了优化。
支持 4 位整数目化，以减少 LLaMA 模子所需的资源。量化模子可以减少存储和 RAM 使用量，但会略略镌汰质地。一个 7B 模子最初需要 13GB 的磁盘空间和 RAM 才能加载。经过 4 位量化后，只需要约 4GB。
然则，它只支持在文本终局中使用。你也可以使用 nat/openplayground 或 oobabooga/text-generation-webui 算作 llama.cpp 的 GUI。
4 位整数目化（4-bit integer quantization）:
是一种将神经辘集参数从浮点数纰谬为整数的时期，旨在减少模子存储和内存占用的大小，以便在迁移开辟等资源受限的环境中使用。
在传统的神经辘集中，每个参数都是一个浮点数，时时需要 4 个字节存储。但是，在 4-bit 整数目化中，每个参数被近似为一个整数，只需要 1 个字节存储。天然这么会焚烧一些模子精度，但由于整数绸缪时时比浮点数绸缪快，因此它可以加快神经辘集的绸缪速率。
4-bit 整数目化时时是在检修后应用的，使用一些时期来最小化精度厌世，举例权重剪辑和量化感知检修。
nat/openplayground
使用来自 OpenAI、Anthropic、Cohere、Forefront、HuggingFace、Aleph Alpha 和 llama.cpp 的任何模子
无缺的 playground UI，包括历史记载、参数调整、键盘快捷键和 logprops
使用相通的领导并列相比模子，单独调整模子参数，然后使用不同的参数重试
自动检测 HuggingFace 缓存中的腹地模子，并允许你装配新模子
在手机上运行
...
图片
体育app图标oobabooga/text-generation-webui
用于在模子之间切换的下拉菜单
近似于 OpenAI 游乐场的札记本模式
对话和扮装演出的聊天模式
指示模式兼容 Alpaca、Vicuna、Open Assistant、Dolly、Koala 和 ChatGLM 形态
涌现优化：HTML，Markdown，LaTeX 等
...
图片
nsarrazin/serge
你的自助式私东谈主助理。莫得而已 API，没少见据网罗，莫得告白。
图片
WebLLM
网络博彩罪WebLLM[104] 将大型说话模子和聊天引入彀络浏览器。一切都在浏览器内运行，无需做事器支持，并使用 WebGPU 加快。这开辟了许多意旨的契机，可以为每个东谈主构建 AI 助手，并在享受 GPU 加快的同期完了诡秘。
图片
Web Stable Diffusion
Web Stable Diffusion[105] 为辘集浏览器带来 Stable Diffusion 模子。一切都在浏览器内运行，无需做事器支持。据样式作家称，这是全国上第一个完全在浏览器上运行的 Stable Diffusion。
图片
图像生态
Stable Diffusion
论文：High-Resolution Image Synthesis with Latent Diffusion Models[106]
GitHub：Latent Diffusion Models[107]
可视化界面：AUTOMATIC1111/stable-diffusion-webui[108]
Stable Diffusion[109]（踏实扩散）是一个潜在的文本到图像扩散模子。Stability AI[110] 和 Runway[111] 的融合，Stable Diffusion 得以完了。获利于 Stability AI 的粗鲁绸缪机捐赠和 LAION[112] 的支持，Stable Diffusion 在 LAION-5B[113] 数据库的一个子集上检修了一个 512x512 图像的潜在扩散模子。近似于 Google 的 Imagen[114]，该模子使用一个冻结的 CLIP ViT-L/14 文本编码器来对模子进行文本领导的调理。该模子具有 860M UNet 和 123M 文本编码器，相对较轻，可以在至少领有 10GB VRAM 的 GPU 上运行。（了解更多《Stable Diffusion 初学》）
图片
Segment Anything
论文：Segment Anything[115]
Blog：Introducing Segment Anything: Working toward the first foundation model for image segmentation[116]
GitHub：facebookresearch/segment-anything[117]
官网：Segment Anything (Research by Meta AI)[118]
数据集：Segment Anything Dataset[119]
图片
“Segment Anything Model”（SAM）可以从点或框等输入领导生成高质地的对象蒙版，可用于为图像中的统统对象生成蒙版。它照旧在包含 1.1 亿个蒙版的 1100 万个图像数据集上进行了检修，并在各式分割任务上具有弘大的零样人道能。
图片
References[1]
Image Creator: https://www.bing.com/images/create[2]
GPT-3: https://github.com/openai/gpt-3[3]
ChatGPT 发布: https://openai.com/blog/chatgpt[4]
Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry': https://www.wired.com/story/blake-lemoine-google-lamda-ai-bigotry[5]
LLM BLOOM: https://bigscience.huggingface.co/blog/bloom[6]
ChatGPT Plus: https://openai.com/blog/chatgpt-plus[7]
ChatGPT 和 Whisper API: https://openai.com/blog/introducing-chatgpt-and-whisper-apis[8]
ChatGPT 插件: https://openai.com/blog/chatgpt-plugins[9]
GPT-4: https://openai.com/product/gpt-4[10]
BLOOM: https://huggingface.co/bigscience/bloom[11]
GitHub Copilot X: https://github.com/features/preview/copilot-x[12]
Google Bard: https://bard.google.com[13]
Adobe Firefly: https://firefly.adobe.com[14]
DeepSpeed: https://github.com/microsoft/DeepSpeed[15]
MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models: https://arxiv.org/abs/2304.10592[16]
Plug-and-Play VQA: Zero-shot VQA by Conjoining Large Pretrained Models with Zero Training: https://arxiv.org/abs/2210.08773[17]
Flamingo: a Visual Language Model for Few-Shot Learning: https://arxiv.org/abs/2204.14198[18]
Vision-CAIR/MiniGPT-4: https://github.com/Vision-CAIR/MiniGPT-4[19]
Vision-CAIR/MiniGPT-4: https://huggingface.co/Vision-CAIR/MiniGPT-4[20]
Vision-CAIR/cc_sbu_align: https://huggingface.co/datasets/Vision-CAIR/cc_sbu_align[21]
Minigpt-4: https://minigpt-4.github.io[22]
Q-Former: https://github.com/ViTAE-Transformer/QFormer[23]
minGPT: https://github.com/karpathy/minGPT[24]
GPT: https://github.com/openai/gpt-2[25]
mingpt/model.py: https://github.com/karpathy/minGPT/blob/master/mingpt/model.py[26]
Transformer: https://arxiv.org/abs/1706.03762[27]
nanoGPT: https://github.com/karpathy/nanoGPT[28]
GPT4Free: https://github.com/xtekky/gpt4free[29]
Auto-GPT: https://github.com/Significant-Gravitas/Auto-GPT[30]
AgentGPT: https://github.com/reworkd/AgentGPT[31]
AudioGPT: Understanding and Generating Speech, Music, Sound, and Talking Head: https://arxiv.org/abs/2304.12995[32]
AIGC-Audio/AudioGPT: https://github.com/AIGC-Audio/AudioGPT[33]
AudioGPT Demo: https://huggingface.co/spaces/AIGC-Audio/AudioGPT[34]
DocsGPT: https://github.com/arc53/DocsGPT[35]
acheong08/ChatGPT: https://github.com/acheong08/ChatGPT[36]
acheong08/EdgeGPT: https://github.com/acheong08/EdgeGPT[37]
澳门皇冠官网A brief history of LLaMA models: https://agi-sphere.com/llama-models[38]
LLaMA: Open and Efficient Foundation Language Models: https://arxiv.org/abs/2302.13971[39]
Introducing LLaMA: A foundational, 65-billion-parameter large language model: https://ai.facebook.com/blog/large-language-model-llama-meta-ai[40]
facebookresearch/LLaMA: https://github.com/facebookresearch/llama[41]
Google 表单肯求: https://docs.google.com/forms/d/e/1FAIpQLSfqNECQnMkycAp2jP4Z9TFX0cGR4uf7b_fBxjY_OjhJILlKGA/viewform[42]
www.libido-increasing-food.comFacebook LLAMA is being openly distributed via torrents: https://news.ycombinator.com/item?id=35007978[43]
qBittorrent: https://www.qbittorrent.org[44]
uTorrent: https://www.utorrent.com[45]
NVIDIA 3090: https://www.nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3090-3090ti[46]
Transformer: A Novel Neural Network Architecture for Language Understanding: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html[47]
CommonCrawl: https://commoncrawl.org[48]
C4: https://huggingface.co/datasets/c4[49]
SentencePiece: https://github.com/google/sentencepiece[50]
Google BigQuery: https://cloud.google.com/bigquery[51]
LLaMA: Open and Efficient Foundation Language Models: https://arxiv.org/abs/2302.13971v1[52]
Self-Instruct: Aligning Language Model with Self Generated Instructions: https://arxiv.org/abs/2212.10560[53]
Alpaca: A Strong, Replicable Instruction-Following Model: https://crfm.stanford.edu/2023/03/13/alpaca.html[54]
tatsu-lab/stanford_alpaca: https://github.com/tatsu-lab/stanford_alpaca[55]
Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90% ChatGPT Quality:* https://vicuna.lmsys.org[56]
lm-sys/FastChat: https://github.com/lm-sys/FastChat[57]
Chat with Open Large Language Models: https://chat.lmsys.org[58]
ShareGPT.com: https://sharegpt.com[59]
Bard: https://blog.google/technology/ai/bard-google-ai-search-updates[60]
Koala: A Dialogue Model for Academic Research: https://bair.berkeley.edu/blog/2023/04/03/koala[61]
young-geng/EasyLM: https://github.com/young-geng/EasyLM[62]
HC3 英语数据集: (https://arxiv.org/abs/2301.07597)[63]
Open Instruction Generalist: https://laion.ai/blog/oig-dataset[64]
Anthropic HH 数据集: https://huggingface.co/datasets/Anthropic/hh-rlhf[65]
OpenAI WebGPT 数据集: https://huggingface.co/datasets/openai/webgpt_comparisons[66]
OpenAI 摘抄数据集: https://huggingface.co/datasets/openai/summarize_from_feedback[67]
chavinlo/gpt4-x-alpaca: https://huggingface.co/chavinlo/gpt4-x-alpaca[68]
GPTeacher: https://github.com/teknium1/GPTeacher[69]
AI Showdown: GPT-4-x-Alpaca vs. Vicuna, GPT-4 as the judge (test in comments): https://www.reddit.com/r/LocalLLaMA/comments/12lksqo/ai_showdown_gpt4xalpaca_vs_vicuna_gpt4_as_the[70]
New model: gpt4-x-alpaca-13b-native-4bit-128g !!: https://github.com/oobabooga/text-generation-webui/discussions/727[71]
WizardLM: Empowering Large Language Models to Follow Complex Instructions: https://arxiv.org/abs/2304.12244[72]
nlpxucan/WizardLM: https://github.com/nlpxucan/WizardLM[73]
Evol-Instruct: https://github.com/nlpxucan/evol-instruct[74]
Open Assistant: https://open-assistant.io[75]
OpenAssistant Conversations -- Democratizing Large Language Model Alignment: https://arxiv.org/abs/2304.07327[76]
LAION-AI/Open-Assistant: https://github.com/LAION-AI/Open-Assistant[77]
OpenAssistant LLaMa 30B SFT 6: https://huggingface.co/OpenAssistant/oasst-sft-6-llama-30b-xor[78]
OpenAssistant RELEASED! The world's best open-source Chat AI!: https://youtu.be/ddG2fM9i4Kk[79]
Large Language Model Chat API: https://huggingface.co/spaces/olivierdehaene/chat-llm-streaming[80]
Lightning-AI/lit-llama: https://github.com/Lightning-AI/lit-llama[81]
Apache 2.0 开源许可证: https://www.apache.org/licenses/LICENSE-2.0[82]
GPL 许可证: https://www.gnu.org/licenses/gpl-3.0.html[83]
Hello Dolly: Democratizing the magic of ChatGPT with open models: https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html[84]
databrickslabs/dolly: https://github.com/databrickslabs/dolly[85]
EleutherAI/gpt-j-6b: https://huggingface.co/EleutherAI/gpt-j-6b[86]
databricks/dolly-v2-12b: https://huggingface.co/databricks/dolly-v2-12b[87]
EleutherAI: https://www.eleuther.ai[88]
pythia-12b: https://huggingface.co/EleutherAI/pythia-12b[89]
Hello Dolly: Democratizing the magic of ChatGPT with open models: https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html[90]
RedPajama, a project to create leading open-source models, starts by reproducing LLaMA training dataset of over 1.2 trillion tokens: https://www.together.xyz/blog/redpajama[91]
togethercomputer/RedPajama-Data: https://github.com/togethercomputer/RedPajama-Data[92]
ChatLLaMa: https://github.com/nebuly-ai/nebuly/tree/main/optimization/chatllama[93]
Stability AI Launches the First of its StableLM Suite of Language Models: https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models[94]
stability-AI/stableLM: https://github.com/stability-AI/stableLM[95]
皇冠博彩官方StableVicuna-13B: https://huggingface.co/lmsys/vicuna-13b-delta-v1.1[96]
StableLM-Tuned-Alpha-7b Chat: https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat[97]
Langchain: https://blog.langchain.dev[98]
wchase17/langchain: https://github.com/hwchase17/langchain[99]
llama.cpp: https://github.com/ggerganov/llama.cpp[100]
nat/openplayground: https://github.com/nat/openplayground[101]
oobabooga/text-generation-webui: https://github.com/oobabooga/text-generation-webui[102]
nsarrazin/serge: https://github.com/nsarrazin/serge[103]
Apple Silicon M1/M2: https://www.apple.com/newsroom/2022/06/apple-unveils-m2-with-breakthrough-performance-and-capabilities[104]
WebLLM: https://github.com/mlc-ai/web-llm[105]
Web Stable Diffusion: https://github.com/mlc-ai/web-stable-diffusion[106]
High-Resolution Image Synthesis with Latent Diffusion Models: https://arxiv.org/abs/2112.10752[107]
皇冠hg86a
Latent Diffusion Models: https://github.com/CompVis/latent-diffusion[108]
AUTOMATIC1111/stable-diffusion-webui: https://github.com/AUTOMATIC1111/stable-diffusion-webui[109]
Stable Diffusion: https://github.com/CompVis/stable-diffusion[110]
Stability AI: https://stability.ai[111]
Runway: https://runwayml.com[112]
LAION: https://laion.ai[113]
LAION-5B: https://laion.ai/blog/laion-5b[114]
Imagen: https://arxiv.org/abs/2205.11487[115]
Segment Anything: https://arxiv.org/abs/2304.02643[116]
Introducing Segment Anything: Working toward the first foundation model for image segmentation: https://ai.facebook.com/blog/segment-anything-foundation-model-image-segmentation[117]
facebookresearch/segment-anything: https://github.com/facebookresearch/segment-anything[118]
“月球-25”号是一个发射自动着陆行星际探测器的项目，目的是探索月球表面，包括寻找水，并研究着陆技术和进行土壤分析。在“月球-25”号任务框架下，既有与研究地球天然卫星的起源和演变有关的科学任务，也有与未来开发月球的可能性有关的应用性更强的任务。
Segment Anything (Research by Meta AI): https://segment-anything.com[119]
Segment Anything Dataset: https://segment-anything.com/dataset/index.html红足1世新2登录
本站仅提供存储做事，统统内容均由用户发布，如发现存害或侵权内容，请点击举报。