IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 人工智能 -> SecretFlow:一款功能强大的隐私保护数据分析和机器学习统一框架 -> 正文阅读

[人工智能]SecretFlow:一款功能强大的隐私保护数据分析和机器学习统一框架

关于SecretFlow

SecretFlow是一款功能强大的隐私保护数据分析和机器学习统一框架,为了实现框架功能,该工具实现了下列技术方法:

1、抽象设备层由封装了各种密码协议的普通设备和机密设备组成;

2、将高级算法建模为设备对象流和DAG的设备流层;

3、使用了水平或垂直分区数据进行数据分析和机器学习的算法层;

4、一个无缝集成数据处理、模型训练和超参数调整的工作流层;

工具体系架构和工作流

下图显示的是SecretFlow的整体架构:

下图显示的是SecretFlow的设备操作和对象流:

下图显示的是物理设备节点和逻辑设备节点:

下图显示的是该工具的逻辑计算图(设备流)和物理计算图:

工具安装

SecretFlow最简单的使用方法就是通过【官方Docker镜像】直接使用。除此之外,我们也可以直接通过源码来安装SecretFlow。

环境要求

1、Python:v3.8;

2、pip:>= v19.3;

3、OS:CentOS7或Ubuntu?18.04;

4、CPU/内存:至少8核16G;

选项1:通过PyPi安装

我们可以从PyPi获取最新版本的SecretFlow,注意,工具要求Python版本为v3.8,然后使用下列命令(conda)创建一个虚拟环境:

conda create -n sf python=3.8

conda activate sf

接下来,就可以使用pip来安装SecretFlow了:

pip install -U secretflow

选项2:通过Docker使用

我们可以从【这里】获取最新版本的SecretFlow?Docker镜像:

export version={SecretFlow version}

例如:

export version=0.6.13b1

接下来运行镜像即可:

docker run -it secretflow/secretflow-anolis8:${version}

选项3:源码安装

下载工具源码并配置Python虚拟环境:

git clone https://github.com/secretflow/secretflow.git) https://github.com/secretflow/secretflow.git

cd secretflow

?

conda create -n secretflow python=3.8

conda activate secretflow

安装SecretFlow:

python setup.py bdist_wheel

pip install dist/*.whl

工具测试

>>> import secretflow as sf

>>> sf.init(['alice', 'bob', 'carol'], num_cpus=8, log_to_driver=True)

>>> dev = sf.PYU('alice')

>>> import numpy as np

>>> data = dev(np.random.rand)(3, 4)

>>> data

<secretflow.device.device.pyu.PYUObject object at 0x7fdec24a15b0>

工具部署

SecretFlow可以部署到单独主机上或多个节点上。

独立模式

直接使用secretflow.init以独立模式运行SecretFlow:

>>> import secretflow as sf

>>> sf.init(['alice', 'bob', 'carol'], num_cpus=8, log_to_driver=True)

集群模式

开启头节点

开启一个头节点,标签为“alice”:

RAY_DISABLE_REMOTE_CODE=true \

RAY_SECURITY_CONFIG_PATH=config.yml \

RAY_USE_TLS=1 \

RAY_TLS_SERVER_CERT=servercert.pem \

RAY_TLS_SERVER_KEY=serverkey.pem \

RAY_TLS_CA_CERT=cacert.pem \

ray start --head --node-ip-address="ip" --port="port" --resources='{"alice": 8}' --include-dashboard=False --disable-usage-stats

启动SecretFlow

>>> import secretflow as sf

# Replace with the `node-ip-address` and `port` of head node.

>>> sf.init(address='ip:port')

>>> alice = sf.PYU('alice')

>>> bob = sf.PYU('bob')

>>> alice(lambda x : x)(2)

<secretflow.device.device.pyu.PYUObject object at 0x7fe932a1a640>

>>> bob(lambda x : x)(2)

<secretflow.device.device.pyu.PYUObject object at 0x7fe6fef03250>

许可证协议

本项目的开发与发布遵循Apache-2.0开源许可证协议。

  人工智能 最新文章
2022吴恩达机器学习课程——第二课(神经网
第十五章 规则学习
FixMatch: Simplifying Semi-Supervised Le
数据挖掘Java——Kmeans算法的实现
大脑皮层的分割方法
【翻译】GPT-3是如何工作的
论文笔记:TEACHTEXT: CrossModal Generaliz
python从零学(六)
详解Python 3.x 导入(import)
【答读者问27】backtrader不支持最新版本的
上一篇文章      下一篇文章      查看所有文章
加:2022-10-08 20:42:06  更:2022-10-08 20:42:57 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/25 20:44:24-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码