|
|
比来，天才黑客 George Hotz 开源了一个小型深度学习框架 tinygrad，兼具 PyTorch 和 micrograd 的功能。tinygrad 的代码数量不到 1000 行，目前该项目获得了 GitHub 1400 星。 机器之心报道，机器之心编纂部。
在深度学习时代，谷歌、Facebook、百度等科技巨头开源了多款框架来辅佐开发者更轻松地学习、构建和训练分歧类型的神经网络。而这些大公司也花费了很大的精力来维护 TensorFlow、PyTorch 这样复杂的深度学习框架。
除了这类主流框架之外，开发者们也会开源一些小而精的框架或者库。比如本年 4 月份，特斯拉人工智能部门主管 Andrej Karpathy 开源了其编写的微型 autograd 引擎 micrograd，该引擎还用 50 行代码实现了一个类 PyTorch api 的神经网络库。目前，micrograd 项目的 GitHub star 量达到 1200 星。
不久前，天才黑客 George Hotz（乔治 · 霍兹）开源了一个小型 Autograd Tensor 库 tinygrad，它介于 PyTorch 和 micrograd 之间，能够满足做深度学习的大部门要求。上线不到一个月，该项目在 GitHub 上已经获得 1400 星。
项目地址：https://github.com/geohot/tinygrad
按照 GitHub 内容，下文对 tinygrad 的安装与使用做了简要介绍。感兴趣的同学也可通过 George Hotz 的 YouTube 视频进行学习。
视频地址：https://www.youtube.com/channel/UCwgKmJM4ZJQRJ-U5NjvR2dg
tinygrad 的安装与使用
「tinygrad 可能不是最好的深度学习框架，但它确实是深度学习框架。」
George 在项目中保证，tinygrad 代码量会永远小于 1000 行。
安装
tinygrad 的安装过程非常简单，只需使用以下命令：
pip3 install tinygrad --upgrade示例
安装好 tinygrad 之后，就可以进行示例运行，代码如下：
from tinygrad.tensor import Tensor
x = Tensor.eye(3)
y = Tensor([[2.0,0,-2.0]])
z = y.matmul(x).sum()
z.backward()
print(x.grad) # dz/dx
print(y.grad) # dz/dy使用 torch 的代码如下：
import torch
x = torch.eye(3, requires_grad=True)
y = torch.tensor([[2.0,0,-2.0]], requires_grad=True)
z = y.matmul(x).sum()
z.backward()
print(x.grad) # dz/dx
print(y.grad) # dz/dy满足对神经网络的需求
一个不错的 autograd 张量库可以满足你对神经网络 90％的需求。从 tinygrad.optim 添加优化器（SGD、RMSprop、Adam），再编写一些 minibatching 样板代码，就可以实现你的需求。
示例如下：
from tinygrad.tensor import Tensor
import tinygrad.optim as optim
from tinygrad.utils import layer_init_uniform
class TinyBobNet:
def __init__(self):
self.l1 = Tensor(layer_init_uniform(784, 128))
self.l2 = Tensor(layer_init_uniform(128, 10))
def forward(self, x):
return x.dot(self.l1).relu().dot(self.l2).logsoftmax()
model = TinyBobNet()
optim = optim.SGD([model.l1, model.l2], lr=0.001)
# ... and complete like pytorch, with (x,y) data
out = model.forward(x)
loss = out.mul(y).mean()
loss.backward()
optim.step()撑持 GPU
tinygrad 通过 PyOpenCL 撑持 GPU。但后向传布暂时无法撑持所有 ops。
from tinygrad.tensor import Tensor
(Tensor.ones(4,4).cuda() + Tensor.ones(4,4).cuda()).cpu()ImageNet 揣度
「麻雀虽小，五脏俱全。」tinygrad 还能够撑持 full EfficientNet，输入一张图像，即可得到其类别。
ipython3 examples/efficientnet.py https://upload.wikimedia.org/wikipedia/commons/4/41/Chicken.jpg如果你安装了 webcam 和 cv2，则可以使用以下代码：
ipython3 examples/efficientnet.py webcam 注意：如果你想加速运行，设置 GPU=1。
测试
运行以下代码可执行测试：
python -m pytest此外，乔治 · 霍兹还打算添加语言模型、检测模型，进一步减少代码量、提升速度等。
天才黑客乔治 · 霍兹
该项目的创建者是著名黑客乔治 · 霍兹，别号 Geohot。
他于 1989 年出生在美国新泽西州，曾就读于罗切斯特理工学院生物工程专业和卡内基梅隆大学计算机科学系。
然而，乔治 · 霍兹在本身的 LinkedIn 主页上教育经历描述里是这么写的：
在罗切斯特理工学院就读期间，他的社团活动是「在宿舍黑 iPhone」……
这是他著名的黑客经历之一。2007 年，17 岁的乔治 · 霍兹成功破解 iPhone 手机，使手机不再局限于 AT&T 网络，而是撑持其他 GSM 网络。2009 年，他开发出一款针对 iOS 3.1.2 的越狱软件 blackra1n。2010 年，乔治 · 霍兹颁布发表不再进行越狱软件的开发。
然而，他的黑客步履并未遏制。
2009 年起，乔治 · 霍兹开始破解 PlayStation 3（PS3）。2010 年初，他颁布发表得到了 PS3 系统内存的读写权限和措置器的高级控制权。2011 年 3 月，乔治 · 霍兹被索尼起诉，后和解。
此外，乔治 · 霍兹还破解过三星手机等产物。
就工作经历而言，他曾在谷歌、Facebook、SpaceX 工作过。目前，他在本身创立的自动驾驶公司 comma.ai 任职。
2015 年，乔治 · 霍兹创立了人工智能创业公司 comma.ai，旨在基于机器学习算法构建自动驾驶技术。乔治 · 霍兹开发出自动驾驶套件 Comma One，只需 1000 美元，用户就能将传统汽车升级成自动驾驶版本。不外，后来这一打算被打消。
2020 年，在 CES 大会上，comma.ai 展出了其最新产物——辅助驾驶设备 Comma Two，售价 999 美元。
comma.ai 公司还开源了辅助驾驶系统 openpilot，参见：https://github.com/commaai/openpilot。
参考链接：https://zh.wikipedia.org/wiki/%E4%B9%94%E6%B2%BB%C2%B7%E9%9C%8D%E5%85%B9
https://en.m.wikipedia.org/wiki/George_Hotz |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
×
|
发表于 2023-8-4 10:04:54
变色卡