发表于 | 分类于

LinearRegression 线性回归

概念：只有一个简单的线性模型的神经网络
构建步骤：

  1. 构建数据集
  2. 设计模型
  3. 前向传播
  4. 构建损失函数和优化器
  5. 反向传播
  6. 训练模型
阅读全文 »

发表于 | 分类于

Back Propagation

如果遇到非常复杂的网络，是无法通过直接计算。但是如果把网络看作图，通过图传播梯度，就能把梯度计算出来，即反向传播。

$\widehat{y} = w_2(w_1 \cdot x + b_1) + b_2$

$\widehat{y} = w_2\cdot w_1 \cdot x + (w_2 \cdot b_1 + b_2)$

$\widehat{y} = w\cdot x + b$

可以发现，若直接在线形层上增加模型的，其网络的复杂程度依然没有改变。为此我们需要在每一个线性层之后添加一个非线性层（激活函数）。

阅读全文 »

发表于 | 分类于

Gradient Descent

穷举法的缺陷：当权重的维度增加时，需要搜索的量也会爆炸增大。
分治思想：寻找局部最优，再继续寻找局部最优。面临的问题：容易陷入局部最优并非全局最优。

梯度下降算法

$\frac{\partial loss}{\partial \omega}$

update
$\omega = \omega - \alpha \frac{\partial loss}{\partial \omega}$
贪心算法思路

鞍点：梯度为0

阅读全文 »

发表于 | 分类于

Linear_Model

机器学习，深度学习/监督学习学习过程

  1. DataSet 数据集
    1. 训练集：训练模型
    2. 测试集：评估模型
  2. Model 模型的设计与选择
  3. Training 训练模型(权重)
  4. Inferring 模型推断

基本概念

通过训练已知数据集，然后将训练好的模型来推理未知测试集数据。

数据集：

  1. 训练集
  2. 测试集
  3. 验证集

过拟合：模型在训练集上上表现很好，但是在测试集上的表现一般。
我们需要的是一个泛化能力强的模型

阅读全文 »

发表于 | 分类于

Oracle-SQL

SQL语句分为以下三种类型：

  1. DML 数据操纵语言
    1. DML用于查询与修改数据记录；如INSERT、UPDATE、DELECT、SELECT
  2. DDL 数据定义语言
    1. DDL用于定义数据库的结构；如CREATE TABLE、ALTER TABLE、DROP TABLE、CREATE INDEX、DROP INDEX
  3. DCL 数据控制语言
    1. DCL用来控制数据库的访问；GRANT、REVOKE、COMMIT、ROLLBACK、SAVEPOINT、LOCK

1.基本的SQL-SELECT语句

基本SELECT语句

1
2
SELECT 选择哪些列
FROM 从个表中;

选择全部列

1
2
SELECT *
FROM departments;

阅读全文 »

发表于 | 分类于

首先，我们需要指出的是String(字符串)、List(列表)、Hash(哈希)、Set(集合)和Zset(有序集合)并不是数据结构，这些都是Redis中常用的数据类型。所说的数据结构是指这些数据类型的底层实现方式。

阅读全文 »

发表于 | 分类于

什么是RPC

RPC(Remote Procedure Call)远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。比如两个不同的服务A、B部署在两台不同的机器上，那么服务A如果想要调用服务B中的某个方法该怎么办呢？使用HTTP请求当然可以，但可能会比较慢而且一些优化做的并不好。RPC的出现就是为了解决这个问题。

阅读全文 »

发表于 | 分类于

Cache Aside Pattern (旁路缓存模式)

旁路缓存模式是平常使用较多的一个缓存读写模式，比较适合读请求比较多的场景。在旁路缓存模式中服务端需要同时维系DB和Cache，并且是以DB的结果为准。

阅读全文 »