RWKV 是结合了 RNN 和 Transformer 的语言模型，适合长文本，运行速度较快，拟合性能较好，占用显存较少，训练用时较少。
RWKV 整体结构依然采用 Transformer Block 的思路，其整体结构如图所示：
相较于原始 Transformer Block 的结构，RWKV 将 self-attention 替换为 Position Encoding 和 TimeMix，将 FFN 替换为 ChannelMix。其余部分与 Transfomer 一致。
-
vertarget vertarget：显示目标机的Microsoft Windows操作系统版本 用户模式: 0:000> vertarget Windows 7 Version 7601 (Service Pack 1) MP (4 procs) Free x86 compatible Product: WinNt, suite: SingleUserTS kernel32.dll versi
-
今天看到书上出现gcc -lm 的选项，甚是不解，在网上查阅了一些资料，访问了一些论坛整理下。 初学linux和gcc，C代码调用math.h中的函数有问题，如sqrt函数。若如sqrt(3.0)则可以编译通过并运行正常，若如sqrt(n)，这里n是定义好的double型变量，则不能编译通过，错误信息为：undefined reference to 'sqrt'。 像 sqrt(3.0); 这种调
-
lm_sensors 的软件可以帮助我们来监控主板，CPU 的工作电压，风扇转速、温度等数据。这些数据我们通常在主板的 BIOS 也可以看到。当我们可以在机器运行的时候通过 lm_sensors 随时来监测着 CPU 的温度变化，可以预防呵保护因为 CPU 过热而会烧掉。
-
回归问题的条件或者说前提是 1） 收集的数据 2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 1 线性回归的概念 线性回归假设特征和结果都满足线性。即不大于一次方。收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形式： 这个就是一个组合问题，
-
1 普通线性模型 普通线性模型(ordinary linear model)可以用下式表示： Y = \beta0 + \beta_1 x_1 + \beta_2 x_2 + … + \beta{p-1} x_{p-1} + \epsilon 这里$\beta$是未知参数，$\epsilon$是误差项。普通线性模型主要有以下几点假设： 响应变量$Y$和误差项$\epsilon$均服从正太分
-
Transformer Models for MATLAB This repository implements deep learning transformer models in MATLAB. Requirements BERT and FinBERT MATLAB R2021a or later Deep Learning Toolbox Text Analytics Toolbox G
-
主要内容：一次函数,构建线性模型本节讲解如何构建线性回归算法中的“线性模型”，所谓“线性”其实就是一条“直线”。因此，本节开篇首先普及一下初中的数学知识“一次函数”。 一次函数 一次函数就是最简单的“线性模型”，其直线方程表达式为 ，其中 k 表示 斜率，b 表示 截距，x 为 自变量，y 表示 因变量。下面展示了 y = 2x + 3 的函数图像： 图1：函数图像y=2x+3 函数中斜率 k 与 截距 b 控制着“直线”的“旋
-
线性回归模型（linear regression） 1.模型定义 给定数据集，$$T={(x{(1)},y{(1)}),(x{(2)},y{(2)}),...,(x{(m)},y{(m)})}$$，其中$$x{(i)}=(1, x_1, x_2, ..., x_n)T\in X= R{n+1}$$，$$y{(i)}\in Y=R$$，线性回归模型试图学到一个通过属性的线性组合来进行预测的函数，即