⊖ Everything running smoothly!
In [1]:
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
In [2]:
learning_rate = 0.01
learning_epochs = 1000

def sigmoid(x):
    return 1./(1. + np.exp(-x))
In [3]:
x1 = np.random.normal(-4, 2, 1000)
x2 = np.random.normal(4, 2, 1000)
xs = np.append(x1, x2)
ys = np.asarray([0.] * len(x1) + [1.] * len(x2))

plt.scatter(xs, ys)
Out[3]:
<matplotlib.collections.PathCollection at 0x7fec22c29dd0>
In [4]:
X = tf.placeholder(tf.float32, shape=(None,), name="x")
Y = tf.placeholder(tf.float32, shape=(None,), name="y")
w = tf.Variable([0., 0.], name="parameter", trainable=True)
y_model = tf.sigmoid(-(w[1] * X + w[0]))
cost = tf.reduce_mean(-tf.log(y_model * Y + (1-y_model) * (1-Y)))
train_op = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
In [5]:
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    prev_err = 0
    for epoch in range(learning_epochs):
        err, _ = sess.run([cost, train_op], {X: xs, Y: ys})
        print(epoch, err)
        if abs(prev_err - err) < .00001:
            break
        prev_err = err
    w_val = sess.run(w, {X: xs, Y: ys})

(0, 0.69314593)
(1, 0.65330237)
(2, 0.61740249)
(3, 0.58502859)
(4, 0.55579227)
(5, 0.52933961)
(6, 0.50535184)
(7, 0.48354656)
(8, 0.46367401)
(9, 0.44551432)
(10, 0.42887557)
(11, 0.41358939)
(12, 0.39950874)
(13, 0.38650572)
(14, 0.37446752)
(15, 0.36329573)
(16, 0.35290414)
(17, 0.34321669)
(18, 0.33416638)
(19, 0.32569423)
(20, 0.31774798)
(21, 0.31028065)
(22, 0.30325136)
(23, 0.29662326)
(24, 0.29036304)
(25, 0.28444129)
(26, 0.27883157)
(27, 0.27350977)
(28, 0.26845449)
(29, 0.2636461)
(30, 0.25906706)
(31, 0.25470111)
(32, 0.25053385)
(33, 0.24655172)
(34, 0.24274275)
(35, 0.23909581)
(36, 0.2356005)
(37, 0.23224765)
(38, 0.22902842)
(39, 0.22593507)
(40, 0.22296011)
(41, 0.22009689)
(42, 0.21733914)
(43, 0.214681)
(44, 0.21211699)
(45, 0.20964228)
(46, 0.20725214)
(47, 0.20494209)
(48, 0.20270835)
(49, 0.20054694)
(50, 0.19845431)
(51, 0.19642727)
(52, 0.1944627)
(53, 0.19255772)
(54, 0.19070956)
(55, 0.18891555)
(56, 0.18717349)
(57, 0.18548097)
(58, 0.18383591)
(59, 0.18223622)
(60, 0.18068014)
(61, 0.17916577)
(62, 0.17769143)
(63, 0.17625551)
(64, 0.17485651)
(65, 0.17349298)
(66, 0.17216349)
(67, 0.17086689)
(68, 0.16960181)
(69, 0.16836716)
(70, 0.16716176)
(71, 0.16598462)
(72, 0.16483474)
(73, 0.16371103)
(74, 0.16261274)
(75, 0.16153891)
(76, 0.16048872)
(77, 0.15946142)
(78, 0.15845621)
(79, 0.15747239)
(80, 0.15650921)
(81, 0.1555661)
(82, 0.15464233)
(83, 0.15373728)
(84, 0.15285043)
(85, 0.15198129)
(86, 0.15112919)
(87, 0.15029371)
(88, 0.14947425)
(89, 0.14867041)
(90, 0.14788181)
(91, 0.14710779)
(92, 0.14634824)
(93, 0.14560248)
(94, 0.14487027)
(95, 0.14415115)
(96, 0.14344482)
(97, 0.14275092)
(98, 0.14206919)
(99, 0.14139917)
(100, 0.14074057)
(101, 0.14009321)
(102, 0.13945659)
(103, 0.13883063)
(104, 0.13821501)
(105, 0.13760944)
(106, 0.13701366)
(107, 0.13642746)
(108, 0.13585062)
(109, 0.1352828)
(110, 0.13472393)
(111, 0.13417369)
(112, 0.13363196)
(113, 0.13309842)
(114, 0.13257299)
(115, 0.13205548)
(116, 0.13154562)
(117, 0.1310433)
(118, 0.13054837)
(119, 0.1300606)
(120, 0.12957983)
(121, 0.12910599)
(122, 0.12863886)
(123, 0.12817837)
(124, 0.12772416)
(125, 0.12727636)
(126, 0.12683471)
(127, 0.12639911)
(128, 0.12596941)
(129, 0.12554549)
(130, 0.12512721)
(131, 0.12471452)
(132, 0.12430727)
(133, 0.12390535)
(134, 0.1235086)
(135, 0.12311702)
(136, 0.12273038)
(137, 0.12234875)
(138, 0.12197194)
(139, 0.12159979)
(140, 0.12123235)
(141, 0.12086939)
(142, 0.12051093)
(143, 0.12015686)
(144, 0.11980705)
(145, 0.11946151)
(146, 0.1191201)
(147, 0.11878269)
(148, 0.11844931)
(149, 0.11811985)
(150, 0.11779427)
(151, 0.1174724)
(152, 0.11715426)
(153, 0.11683979)
(154, 0.11652888)
(155, 0.11622149)
(156, 0.11591759)
(157, 0.11561706)
(158, 0.11531986)
(159, 0.11502596)
(160, 0.11473528)
(161, 0.11444779)
(162, 0.11416339)
(163, 0.11388213)
(164, 0.11360379)
(165, 0.11332847)
(166, 0.11305606)
(167, 0.11278652)
(168, 0.11251985)
(169, 0.11225591)
(170, 0.11199465)
(171, 0.11173621)
(172, 0.11148034)
(173, 0.11122713)
(174, 0.11097646)
(175, 0.11072829)
(176, 0.11048266)
(177, 0.11023944)
(178, 0.10999867)
(179, 0.10976025)
(180, 0.1095242)
(181, 0.10929045)
(182, 0.10905895)
(183, 0.1088297)
(184, 0.10860264)
(185, 0.10837778)
(186, 0.10815505)
(187, 0.10793442)
(188, 0.1077159)
(189, 0.1074994)
(190, 0.10728494)
(191, 0.10707244)
(192, 0.10686194)
(193, 0.10665338)
(194, 0.1064467)
(195, 0.10624187)
(196, 0.10603896)
(197, 0.10583785)
(198, 0.10563853)
(199, 0.105441)
(200, 0.10524524)
(201, 0.10505119)
(202, 0.10485889)
(203, 0.10466824)
(204, 0.10447926)
(205, 0.10429192)
(206, 0.1041062)
(207, 0.10392208)
(208, 0.10373955)
(209, 0.1035585)
(210, 0.10337909)
(211, 0.10320115)
(212, 0.10302471)
(213, 0.10284971)
(214, 0.10267622)
(215, 0.10250418)
(216, 0.10233356)
(217, 0.10216425)
(218, 0.10199643)
(219, 0.10182993)
(220, 0.1016648)
(221, 0.10150103)
(222, 0.10133853)
(223, 0.10117739)
(224, 0.10101745)
(225, 0.10085882)
(226, 0.10070148)
(227, 0.10054538)
(228, 0.10039047)
(229, 0.10023681)
(230, 0.10008431)
(231, 0.099932984)
(232, 0.099782854)
(233, 0.09963388)
(234, 0.099486023)
(235, 0.099339299)
(236, 0.099193759)
(237, 0.099049218)
(238, 0.098905809)
(239, 0.098763503)
(240, 0.098622218)
(241, 0.098482013)
(242, 0.098342814)
(243, 0.09820471)
(244, 0.098067567)
(245, 0.09793146)
(246, 0.097796328)
(247, 0.097662203)
(248, 0.097529024)
(249, 0.097396806)
(250, 0.097265556)
(251, 0.097135231)
(252, 0.097005874)
(253, 0.096877389)
(254, 0.096749857)
(255, 0.096623197)
(256, 0.096497454)
(257, 0.09637256)
(258, 0.096248552)
(259, 0.096125402)
(260, 0.096003123)
(261, 0.095881686)
(262, 0.095761105)
(263, 0.095641337)
(264, 0.095522337)
(265, 0.09540417)
(266, 0.095286883)
(267, 0.095170274)
(268, 0.095054515)
(269, 0.09493953)
(270, 0.09482529)
(271, 0.09471184)
(272, 0.094599158)
(273, 0.094487198)
(274, 0.094375961)
(275, 0.094265498)
(276, 0.094155736)
(277, 0.094046675)
(278, 0.093938336)
(279, 0.09383072)
(280, 0.093723781)
(281, 0.093617521)
(282, 0.093511939)
(283, 0.093407087)
(284, 0.093302853)
(285, 0.093199313)
(286, 0.093096428)
(287, 0.092994168)
(288, 0.092892557)
(289, 0.092791595)
(290, 0.092691272)
(291, 0.092591539)
(292, 0.092492469)
(293, 0.092393979)
(294, 0.092296116)
(295, 0.092198871)
(296, 0.0921022)
(297, 0.092006117)
(298, 0.091910645)
(299, 0.091815695)
(300, 0.091721423)
(301, 0.091627635)
(302, 0.091534473)
(303, 0.091441818)
(304, 0.091349728)
(305, 0.091258191)
(306, 0.091167234)
(307, 0.091076761)
(308, 0.090986863)
(309, 0.090897493)
(310, 0.090808623)
(311, 0.090720288)
(312, 0.090632491)
(313, 0.090545185)
(314, 0.090458371)
(315, 0.090372078)
(316, 0.090286285)
(317, 0.090201005)
(318, 0.09011618)
(319, 0.090031855)
(320, 0.089948028)
(321, 0.089864634)
(322, 0.089781746)
(323, 0.089699313)
(324, 0.089617357)
(325, 0.089535877)
(326, 0.0894548)
(327, 0.089374222)
(328, 0.089294069)
(329, 0.089214392)
(330, 0.089135148)
(331, 0.089056335)
(332, 0.088977933)
(333, 0.088899992)
(334, 0.088822529)
(335, 0.088745393)
(336, 0.088668726)
(337, 0.088592455)
(338, 0.088516623)
(339, 0.088441171)
(340, 0.088366196)
(341, 0.088291518)
(342, 0.088217333)
(343, 0.08814346)
(344, 0.088070087)
(345, 0.087997049)
(346, 0.087924369)
(347, 0.087852105)
(348, 0.087780207)
(349, 0.087708719)
(350, 0.087637588)
(351, 0.087566808)
(352, 0.08749643)
(353, 0.087426409)
(354, 0.087356761)
(355, 0.087287456)
(356, 0.087218493)
(357, 0.087149926)
(358, 0.087081678)
(359, 0.087013811)
(360, 0.086946271)
(361, 0.086879067)
(362, 0.086812228)
(363, 0.086745746)
(364, 0.086679563)
(365, 0.08661373)
(366, 0.086548187)
(367, 0.086483002)
(368, 0.086418197)
(369, 0.086353645)
(370, 0.086289458)
(371, 0.086225577)
(372, 0.086162031)
(373, 0.086098753)
(374, 0.086035803)
(375, 0.085973188)
(376, 0.085910872)
(377, 0.085848853)
(378, 0.085787132)
(379, 0.08572574)
(380, 0.08566463)
(381, 0.085603788)
(382, 0.085543312)
(383, 0.085483052)
(384, 0.085423097)
(385, 0.085363477)
(386, 0.085304074)
(387, 0.085245036)
(388, 0.085186243)
(389, 0.085127719)
(390, 0.085069485)
(391, 0.08501149)
(392, 0.084953815)
(393, 0.084896423)
(394, 0.084839277)
(395, 0.084782407)
(396, 0.084725775)
(397, 0.084669434)
(398, 0.08461336)
(399, 0.084557526)
(400, 0.084501967)
(401, 0.084446661)
(402, 0.084391601)
(403, 0.084336825)
(404, 0.084282272)
(405, 0.084227979)
(406, 0.084173918)
(407, 0.084120117)
(408, 0.084066555)
(409, 0.084013291)
(410, 0.083960205)
(411, 0.083907373)
(412, 0.083854795)
(413, 0.083802454)
(414, 0.083750337)
(415, 0.083698444)
(416, 0.083646789)
(417, 0.08359538)
(418, 0.083544187)
(419, 0.083493218)
(420, 0.083442464)
(421, 0.083391957)
(422, 0.083341673)
(423, 0.083291613)
(424, 0.083241746)
(425, 0.083192132)
(426, 0.083142728)
(427, 0.083093539)
(428, 0.083044514)
(429, 0.082995802)
(430, 0.082947247)
(431, 0.082898892)
(432, 0.082850754)
(433, 0.082802817)
(434, 0.082755126)
(435, 0.082707629)
(436, 0.08266031)
(437, 0.082613215)
(438, 0.082566276)
(439, 0.082519606)
(440, 0.082473077)
(441, 0.082426757)
(442, 0.08238063)
(443, 0.082334734)
(444, 0.08228901)
(445, 0.082243487)
(446, 0.082198113)
(447, 0.082152978)
(448, 0.082108013)
(449, 0.08206325)
(450, 0.082018644)
(451, 0.081974253)
(452, 0.081930041)
(453, 0.081886016)
(454, 0.081842154)
(455, 0.081798464)
(456, 0.081754982)
(457, 0.081711672)
(458, 0.081668548)
(459, 0.081625596)
(460, 0.081582777)
(461, 0.081540197)
(462, 0.081497774)
(463, 0.081455491)
(464, 0.081413396)
(465, 0.081371516)
(466, 0.081329741)
(467, 0.081288129)
(468, 0.081246734)
(469, 0.08120548)
(470, 0.081164397)
(471, 0.081123456)
(472, 0.081082702)
(473, 0.081042141)
(474, 0.081001706)
(475, 0.080961399)
(476, 0.080921307)
(477, 0.080881312)
(478, 0.080841556)
(479, 0.080801912)
(480, 0.080762401)
(481, 0.080723077)
(482, 0.080683917)
(483, 0.080644876)
(484, 0.080605999)
(485, 0.080567293)
(486, 0.080528751)
(487, 0.080490306)
(488, 0.080452032)
(489, 0.080413908)
(490, 0.080375947)
(491, 0.080338113)
(492, 0.080300421)
(493, 0.080262877)
(494, 0.080225497)
(495, 0.08018823)
(496, 0.080151126)
(497, 0.080114141)
(498, 0.080077358)
(499, 0.080040663)
(500, 0.080004089)
(501, 0.079967685)
(502, 0.079931401)
(503, 0.07989528)
(504, 0.079859287)
(505, 0.079823412)
(506, 0.079787657)
(507, 0.079752073)
(508, 0.079716623)
(509, 0.079681277)
(510, 0.079646103)
(511, 0.079611018)
(512, 0.079576083)
(513, 0.079541266)
(514, 0.079506576)
(515, 0.07947202)
(516, 0.079437613)
(517, 0.079403289)
(518, 0.079369158)
(519, 0.079335049)
(520, 0.079301156)
(521, 0.079267353)
(522, 0.079233691)
(523, 0.079200134)
(524, 0.079166688)
(525, 0.079133384)
(526, 0.079100206)
(527, 0.079067111)
(528, 0.079034179)
(529, 0.07900133)
(530, 0.078968614)
(531, 0.078936026)
(532, 0.078903519)
(533, 0.078871153)
(534, 0.078838944)
(535, 0.078806803)
(536, 0.078774765)
(537, 0.078742892)
(538, 0.078711063)
(539, 0.078679383)
(540, 0.078647815)
(541, 0.078616373)
(542, 0.078585006)
(543, 0.078553788)
(544, 0.07852263)
(545, 0.078491613)
(546, 0.078460723)
(547, 0.07842993)
(548, 0.078399241)
(549, 0.078368671)
(550, 0.078338169)
(551, 0.078307815)
(552, 0.078277521)
(553, 0.078247353)
(554, 0.07821729)
(555, 0.078187332)
(556, 0.078157492)
(557, 0.078127749)
(558, 0.078098111)
(559, 0.078068554)
(560, 0.078039095)
(561, 0.078009769)
(562, 0.077980489)
(563, 0.077951372)
(564, 0.077922292)
(565, 0.077893369)
(566, 0.077864535)
(567, 0.077835746)
(568, 0.077807128)
(569, 0.077778563)
(570, 0.077750079)
(571, 0.077721737)
(572, 0.07769347)
(573, 0.077665269)
(574, 0.077637218)
(575, 0.077609204)
(576, 0.077581316)
(577, 0.077553533)
(578, 0.077525817)
(579, 0.07749819)
(580, 0.07747069)
(581, 0.077443257)
(582, 0.077415921)
(583, 0.077388659)
(584, 0.077361509)
(585, 0.077334441)
(586, 0.077307448)
(587, 0.077280566)
(588, 0.077253737)
(589, 0.077227004)
(590, 0.077200368)
(591, 0.077173814)
(592, 0.077147357)
(593, 0.077121004)
(594, 0.077094711)
(595, 0.077068515)
(596, 0.077042386)
(597, 0.077016361)
(598, 0.076990403)
(599, 0.076964565)
(600, 0.076938763)
(601, 0.076913089)
(602, 0.076887421)
(603, 0.076861918)
(604, 0.076836474)
(605, 0.076811068)
(606, 0.07678578)
(607, 0.07676059)
(608, 0.076735452)
(609, 0.076710403)
(610, 0.076685473)
(611, 0.076660544)
(612, 0.076635726)
(613, 0.07661099)
(614, 0.076586343)
(615, 0.076561786)
(616, 0.076537266)
(617, 0.076512806)
(618, 0.076488487)
(619, 0.076464221)
(620, 0.076440029)
(621, 0.076415896)
(622, 0.076391876)
(623, 0.076367907)
(624, 0.076344006)
(625, 0.076320142)
(626, 0.076296419)
(627, 0.076272756)
(628, 0.076249152)
(629, 0.076225616)
(630, 0.076202177)
(631, 0.076178804)
(632, 0.076155491)
(633, 0.07613223)
(634, 0.076109037)
(635, 0.076085962)
(636, 0.076062955)
(637, 0.076039992)
(638, 0.076017112)
(639, 0.075994268)
(640, 0.075971544)
(641, 0.075948864)
(642, 0.075926252)
(643, 0.075903699)
(644, 0.075881243)
(645, 0.075858809)
(646, 0.075836495)
(647, 0.075814225)
(648, 0.075792037)
(649, 0.075769857)
(650, 0.075747795)
(651, 0.075725786)
(652, 0.075703874)
(653, 0.075681992)
(654, 0.075660169)
(655, 0.075638443)
(656, 0.075616747)
(657, 0.07559514)
(658, 0.075573593)
(659, 0.075552113)
(660, 0.075530663)
(661, 0.075509354)
(662, 0.075488038)
(663, 0.075466827)
(664, 0.075445645)
(665, 0.075424522)
(666, 0.075403489)
(667, 0.075382501)
(668, 0.07536158)
(669, 0.075340703)
(670, 0.075319931)
(671, 0.075299181)
(672, 0.075278491)
(673, 0.075257875)
(674, 0.075237319)
(675, 0.075216837)
(676, 0.07519637)
(677, 0.075175978)
(678, 0.075155653)
(679, 0.07513541)
(680, 0.075115219)
(681, 0.075095043)
(682, 0.075074956)
(683, 0.075054929)
(684, 0.075034991)
(685, 0.075015061)
(686, 0.07499519)
(687, 0.074975416)
(688, 0.074955657)
(689, 0.074935973)
(690, 0.074916348)
(691, 0.07489676)
(692, 0.074877225)
(693, 0.074857756)
(694, 0.074838355)
(695, 0.074818984)
(696, 0.074799702)
(697, 0.074780427)
(698, 0.074761257)
(699, 0.074742138)
(700, 0.074723035)
(701, 0.074703984)
(702, 0.074685015)
(703, 0.074666098)
(704, 0.074647248)
(705, 0.074628405)
(706, 0.074609637)
(707, 0.074590929)
(708, 0.074572258)
(709, 0.074553668)
(710, 0.074535094)
(711, 0.074516602)
(712, 0.074498139)
(713, 0.074479736)
(714, 0.074461378)
(715, 0.074443087)
(716, 0.074424811)
(717, 0.074406631)
(718, 0.074388474)
(719, 0.074370362)
(720, 0.074352309)
(721, 0.074334294)
(722, 0.074316368)
(723, 0.074298449)
(724, 0.074280612)
(725, 0.07426279)
(726, 0.074245021)
(727, 0.074227326)
(728, 0.074209645)
(729, 0.074192047)
(730, 0.074174456)
(731, 0.07415697)
(732, 0.074139498)
(733, 0.074122071)
(734, 0.074104674)
(735, 0.074087359)
(736, 0.074070074)
(737, 0.074052826)
(738, 0.07403563)
(739, 0.074018508)
(740, 0.074001387)
(741, 0.073984355)
(742, 0.073967345)
(743, 0.073950373)
(744, 0.073933437)
(745, 0.073916562)
(746, 0.073899768)
(747, 0.073882975)
(748, 0.073866241)
(749, 0.073849529)
(750, 0.073832922)
(751, 0.073816307)
(752, 0.073799737)
(753, 0.073783204)
(754, 0.073766723)
(755, 0.073750295)
(756, 0.073733903)
(757, 0.073717564)
(758, 0.073701262)
(759, 0.073685005)
(760, 0.073668808)
(761, 0.073652618)
(762, 0.07363648)
(763, 0.073620394)
(764, 0.073604338)
(765, 0.073588349)
(766, 0.07357242)
(767, 0.07355646)
(768, 0.073540591)
(769, 0.073524721)
(770, 0.073508933)
(771, 0.073493212)
(772, 0.073477477)
(773, 0.073461801)
(774, 0.073446162)
(775, 0.073430561)
(776, 0.073414996)
(777, 0.073399507)
(778, 0.073384009)
(779, 0.073368587)
(780, 0.073353179)
(781, 0.073337816)
(782, 0.073322505)
(783, 0.073307231)
(784, 0.073292024)
(785, 0.073276803)
(786, 0.073261626)
(787, 0.073246524)
(788, 0.073231429)
(789, 0.073216349)
(790, 0.073201388)
(791, 0.073186405)
(792, 0.073171467)
(793, 0.073156588)
(794, 0.073141709)
(795, 0.073126867)
(796, 0.073112115)
(797, 0.073097348)
(798, 0.073082656)
(799, 0.073067978)
(800, 0.07305333)
(801, 0.073038749)
(802, 0.073024184)
(803, 0.073009662)
(804, 0.072995156)
(805, 0.072980709)
(806, 0.072966337)
(807, 0.072951913)
(808, 0.072937578)
(809, 0.072923273)
(810, 0.07290902)
(811, 0.072894745)
(812, 0.072880551)
(813, 0.072866388)
(814, 0.072852246)
(815, 0.072838172)
(816, 0.072824083)
(817, 0.072810046)
(818, 0.072796069)
(819, 0.072782107)
(820, 0.072768174)
(821, 0.072754271)
(822, 0.072740451)
(823, 0.072726592)
(824, 0.072712816)
(825, 0.072699048)
(826, 0.072685331)
(827, 0.072671659)
(828, 0.072657987)
(829, 0.07264436)
(830, 0.072630785)
(831, 0.072617225)
(832, 0.072603717)
(833, 0.072590202)
(834, 0.072576754)
(835, 0.072563343)
(836, 0.072549932)
(837, 0.072536573)
(838, 0.072523221)
(839, 0.072509959)
(840, 0.072496705)
(841, 0.072483443)
(842, 0.072470248)
(843, 0.07245706)
(844, 0.07244394)
(845, 0.072430842)
(846, 0.072417758)
(847, 0.072404712)
(848, 0.072391711)
(849, 0.072378725)
(850, 0.072365776)
(851, 0.072352834)
(852, 0.072339982)
(853, 0.0723271)
(854, 0.07231427)
(855, 0.07230147)
(856, 0.072288707)
(857, 0.072275974)
(858, 0.072263271)
(859, 0.072250582)
(860, 0.072237961)
(861, 0.072225317)
(862, 0.072212726)
(863, 0.072200179)
(864, 0.072187662)
(865, 0.072175153)
(866, 0.072162688)
(867, 0.072150238)
(868, 0.072137833)
(869, 0.072125442)
(870, 0.072113082)
(871, 0.072100781)
(872, 0.072088487)
(873, 0.072076194)
(874, 0.072063975)
(875, 0.072051741)
(876, 0.072039567)
(877, 0.072027422)
(878, 0.072015323)
(879, 0.072003201)
(880, 0.071991116)
(881, 0.071979098)
(882, 0.071967088)
(883, 0.071955077)
(884, 0.071943119)
(885, 0.071931198)
(886, 0.0719193)
(887, 0.071907409)
(888, 0.071895555)
(889, 0.071883745)
(890, 0.071871936)
(891, 0.071860179)
(892, 0.071848437)
(893, 0.071836732)
(894, 0.071825027)
(895, 0.071813352)
(896, 0.071801722)
(897, 0.071790121)
(898, 0.071778566)
(899, 0.07176698)
(900, 0.071755461)
(901, 0.071743973)
(902, 0.071732484)
(903, 0.07172104)
(904, 0.071709611)
(905, 0.071698211)
(906, 0.071686842)
(907, 0.071675472)
(908, 0.071664184)
(909, 0.071652859)
(910, 0.071641602)
(911, 0.071630336)
(912, 0.071619138)
(913, 0.071607962)
(914, 0.071596757)
(915, 0.071585611)
(916, 0.071574509)
(917, 0.071563393)
(918, 0.071552344)
(919, 0.071541287)
(920, 0.071530275)
(921, 0.071519285)
(922, 0.071508288)
(923, 0.071497358)
(924, 0.071486436)
(925, 0.071475558)
(926, 0.071464658)
(927, 0.071453795)
(928, 0.071442962)
(929, 0.071432158)
(930, 0.071421407)
(931, 0.071410634)
(932, 0.071399912)
(933, 0.071389198)
(934, 0.071378507)
(935, 0.071367875)
(936, 0.07135722)
(937, 0.071346618)
(938, 0.071336031)
(939, 0.071325473)
(940, 0.071314931)
(941, 0.071304396)
(942, 0.071293883)
(943, 0.071283415)
(944, 0.071272939)
(945, 0.071262546)
(946, 0.071252123)
(947, 0.071241736)
(948, 0.071231395)
(949, 0.071221046)
(950, 0.071210712)
(951, 0.071200408)
(952, 0.071190134)
(953, 0.071179919)
(954, 0.071169682)
(955, 0.071159482)
(956, 0.07114929)
(957, 0.071139127)
(958, 0.071128979)
(959, 0.071118884)
(960, 0.071108744)
(961, 0.071098678)
(962, 0.071088649)
(963, 0.071078584)
(964, 0.071068585)
In [6]:
all_xs = np.linspace(-10, 10, 100)
plt.plot(all_xs, sigmoid(-(all_xs * w_val[1] + w_val[0])))
plt.show()
In [8]:
learning_rate = 0.1
training_epochs = 2000

x1_label1 = np.random.normal(3, 1, 1000)
x2_label1 = np.random.normal(2, 1, 1000)
x1_label2 = np.random.normal(7, 1, 1000)
x2_label2 = np.random.normal(6, 1, 1000)

x1s = np.append(x1_label1, x1_label2)
x2s = np.append(x2_label1, x2_label2)
ys = np.asarray([0] * len(x1_label1) + [1] * len(x1_label2))
In [10]:
X1 = tf.placeholder(tf.float32, shape=(None,), name="x1")
X2 = tf.placeholder(tf.float32, shape=(None,), name="x2")
Y = tf.placeholder(tf.float32, shape=(None,), name="y")
w = tf.Variable([0., 0., 0.], name="w", trainable=True)
                                   
y_model = tf.sigmoid(-(w[2] * X2 + w[1] * X1 + w[0]))
cost = tf.reduce_mean(-tf.log(y_model * Y + (1-y_model) * (1-Y)))
train_op = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
In [12]:
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    prev_err = 0
    for epoch in range(learning_epochs):
        err, _ = sess.run([cost, train_op], {X1: x1s, X2: x2s, Y: ys})
        print(epoch, err)
        if abs(prev_err - err) < 0.0001:
            break
        prev_err = err
    
    w_val = sess.run(w, {X1: x1s, X2: x2s, Y: ys})

x1_boundary, x2_boundary = [], []
for x1_test in np.linspace(0, 10, 1000):
    for x2_test in np.linspace(0, 10, 1000):
        z = sigmoid(-x2_test*w_val[2] - x1_test* w_val[1] - w_val[0])
        if abs(z - 0.5) < 0.01:
            x1_boundary.append(x1_test)
            x2_boundary.append(x2_test)

(0, 0.69314593)
(1, 0.60945028)
(2, 0.60293001)
(3, 0.59826982)
(4, 0.5937317)
(5, 0.58930159)
(6, 0.58497471)
(7, 0.58074743)
(8, 0.57661575)
(9, 0.57257563)
(10, 0.56862366)
(11, 0.56475645)
(12, 0.56097043)
(13, 0.5572623)
(14, 0.55362898)
(15, 0.55006844)
(16, 0.54657722)
(17, 0.54315233)
(18, 0.53979206)
(19, 0.53649354)
(20, 0.53325456)
(21, 0.53007281)
(22, 0.52694643)
(23, 0.52387327)
(24, 0.52085137)
(25, 0.51787931)
(26, 0.51495492)
(27, 0.51207668)
(28, 0.50924313)
(29, 0.50645256)
(30, 0.50370377)
(31, 0.5009954)
(32, 0.49832606)
(33, 0.49569425)
(34, 0.49309915)
(35, 0.49053967)
(36, 0.48801422)
(37, 0.48552227)
(38, 0.48306277)
(39, 0.48063454)
(40, 0.47823706)
(41, 0.47586915)
(42, 0.47352996)
(43, 0.47121868)
(44, 0.4689348)
(45, 0.46667767)
(46, 0.46444631)
(47, 0.46224004)
(48, 0.46005842)
(49, 0.45790076)
(50, 0.45576653)
(51, 0.45365503)
(52, 0.45156595)
(53, 0.44949871)
(54, 0.44745257)
(55, 0.44542718)
(56, 0.44342226)
(57, 0.44143716)
(58, 0.43947163)
(59, 0.43752506)
(60, 0.4355973)
(61, 0.43368784)
(62, 0.43179619)
(63, 0.42992231)
(64, 0.42806551)
(65, 0.42622578)
(66, 0.42440259)
(67, 0.42259583)
(68, 0.42080474)
(69, 0.41902977)
(70, 0.41727012)
(71, 0.41552585)
(72, 0.41379628)
(73, 0.41208136)
(74, 0.41038129)
(75, 0.40869507)
(76, 0.40702295)
(77, 0.40536457)
(78, 0.40371987)
(79, 0.40208846)
(80, 0.40047017)
(81, 0.39886492)
(82, 0.39727241)
(83, 0.39569259)
(84, 0.39412519)
(85, 0.39256978)
(86, 0.39102679)
(87, 0.38949549)
(88, 0.38797596)
(89, 0.38646808)
(90, 0.38497186)
(91, 0.38348663)
(92, 0.38201264)
(93, 0.38054964)
(94, 0.37909758)
(95, 0.37765625)
(96, 0.3762255)
(97, 0.37480524)
(98, 0.37339535)
(99, 0.37199581)
(100, 0.37060651)
(101, 0.3692269)
(102, 0.36785716)
(103, 0.36649731)
(104, 0.36514714)
(105, 0.36380681)
(106, 0.36247551)
(107, 0.36115378)
(108, 0.35984138)
(109, 0.35853791)
(110, 0.35724342)
(111, 0.35595813)
(112, 0.35468152)
(113, 0.35341391)
(114, 0.35215473)
(115, 0.35090429)
(116, 0.34966236)
(117, 0.34842879)
(118, 0.34720367)
(119, 0.34598669)
(120, 0.34477779)
(121, 0.34357727)
(122, 0.34238452)
(123, 0.34119982)
(124, 0.34002283)
(125, 0.33885372)
(126, 0.33769238)
(127, 0.33653849)
(128, 0.33539233)
(129, 0.33425379)
(130, 0.33312228)
(131, 0.33199835)
(132, 0.33088166)
(133, 0.3297722)
(134, 0.32867)
(135, 0.3275747)
(136, 0.32648665)
(137, 0.32540509)
(138, 0.32433087)
(139, 0.32326341)
(140, 0.32220256)
(141, 0.32114846)
(142, 0.32010129)
(143, 0.3190603)
(144, 0.31802616)
(145, 0.31699818)
(146, 0.31597701)
(147, 0.31496197)
(148, 0.3139534)
(149, 0.31295094)
(150, 0.31195456)
(151, 0.31096447)
(152, 0.30998069)
(153, 0.3090027)
(154, 0.30803061)
(155, 0.30706456)
(156, 0.30610454)
(157, 0.30515015)
(158, 0.30420178)
(159, 0.30325904)
(160, 0.30232203)
(161, 0.30139059)
(162, 0.30046484)
(163, 0.2995446)
(164, 0.29862985)
(165, 0.29772049)
(166, 0.29681671)
(167, 0.29591832)
(168, 0.29502508)
(169, 0.29413727)
(170, 0.29325464)
(171, 0.29237738)
(172, 0.29150498)
(173, 0.29063782)
(174, 0.28977582)
(175, 0.28891876)
(176, 0.28806683)
(177, 0.28721967)
(178, 0.28637764)
(179, 0.28554025)
(180, 0.28470787)
(181, 0.28388035)
(182, 0.28305739)
(183, 0.28223926)
(184, 0.28142571)
(185, 0.280617)
(186, 0.2798129)
(187, 0.27901325)
(188, 0.27821809)
(189, 0.27742752)
(190, 0.27664137)
(191, 0.27585968)
(192, 0.27508241)
(193, 0.27430952)
(194, 0.273541)
(195, 0.2727766)
(196, 0.27201673)
(197, 0.27126092)
(198, 0.2705093)
(199, 0.26976195)
(200, 0.26901859)
(201, 0.26827949)
(202, 0.26754451)
(203, 0.26681343)
(204, 0.26608637)
(205, 0.26536334)
(206, 0.26464418)
(207, 0.26392907)
(208, 0.26321775)
(209, 0.26251027)
(210, 0.26180679)
(211, 0.261107)
(212, 0.26041099)
(213, 0.25971869)
(214, 0.25903022)
(215, 0.25834525)
(216, 0.25766405)
(217, 0.25698656)
(218, 0.25631267)
(219, 0.25564238)
(220, 0.2549755)
(221, 0.25431219)
(222, 0.25365242)
(223, 0.25299621)
(224, 0.25234336)
(225, 0.25169396)
(226, 0.25104803)
(227, 0.25040537)
(228, 0.24976614)
(229, 0.24913025)
(230, 0.24849762)
(231, 0.24786818)
(232, 0.24724214)
(233, 0.24661933)
(234, 0.24599966)
(235, 0.24538314)
(236, 0.24476996)
(237, 0.24415985)
(238, 0.24355271)
(239, 0.2429489)
(240, 0.24234796)
(241, 0.24175021)
(242, 0.24115545)
(243, 0.24056371)
(244, 0.23997487)
(245, 0.23938909)
(246, 0.23880625)
(247, 0.23822626)
(248, 0.23764932)
(249, 0.23707508)
(250, 0.23650381)
(251, 0.23593542)
(252, 0.23536977)
(253, 0.23480704)
(254, 0.23424701)
(255, 0.2336897)
(256, 0.23313515)
(257, 0.23258337)
(258, 0.23203431)
(259, 0.23148791)
(260, 0.23094428)
(261, 0.2304032)
(262, 0.22986479)
(263, 0.22932895)
(264, 0.22879565)
(265, 0.22826503)
(266, 0.22773696)
(267, 0.22721148)
(268, 0.22668841)
(269, 0.22616789)
(270, 0.22564991)
(271, 0.22513449)
(272, 0.22462131)
(273, 0.22411066)
(274, 0.22360252)
(275, 0.22309673)
(276, 0.22259337)
(277, 0.22209235)
(278, 0.22159366)
(279, 0.22109741)
(280, 0.22060345)
(281, 0.22011176)
(282, 0.21962243)
(283, 0.21913537)
(284, 0.21865049)
(285, 0.21816798)
(286, 0.21768756)
(287, 0.21720956)
(288, 0.21673366)
(289, 0.21625994)
(290, 0.21578842)
(291, 0.21531916)
(292, 0.21485193)
(293, 0.21438684)
(294, 0.21392389)
(295, 0.21346319)
(296, 0.21300435)
(297, 0.2125477)
(298, 0.21209317)
(299, 0.21164064)
(300, 0.21119009)
(301, 0.21074176)
(302, 0.21029523)
(303, 0.20985088)
(304, 0.2094084)
(305, 0.20896795)
(306, 0.20852946)
(307, 0.20809296)
(308, 0.20765829)
(309, 0.20722571)
(310, 0.20679484)
(311, 0.20636605)
(312, 0.20593911)
(313, 0.20551398)
(314, 0.20509073)
(315, 0.20466937)
(316, 0.20424987)
(317, 0.20383212)
(318, 0.20341623)
(319, 0.2030022)
(320, 0.20259)
(321, 0.20217951)
(322, 0.20177074)
(323, 0.2013638)
(324, 0.2009587)
(325, 0.20055521)
(326, 0.20015344)
(327, 0.19975345)
(328, 0.19935517)
(329, 0.19895865)
(330, 0.19856368)
(331, 0.19817047)
(332, 0.19777897)
(333, 0.19738908)
(334, 0.19700085)
(335, 0.19661418)
(336, 0.19622925)
(337, 0.1958458)
(338, 0.19546415)
(339, 0.19508396)
(340, 0.19470544)
(341, 0.19432849)
(342, 0.19395302)
(343, 0.19357918)
(344, 0.19320685)
(345, 0.19283612)
(346, 0.19246691)
(347, 0.19209915)
(348, 0.191733)
(349, 0.19136833)
(350, 0.19100504)
(351, 0.19064337)
(352, 0.19028324)
(353, 0.18992443)
(354, 0.1895671)
(355, 0.18921129)
(356, 0.1888569)
(357, 0.18850391)
(358, 0.18815237)
(359, 0.1878022)
(360, 0.18745346)
(361, 0.18710624)
(362, 0.18676025)
(363, 0.18641578)
(364, 0.1860726)
(365, 0.18573076)
(366, 0.18539041)
(367, 0.18505132)
(368, 0.18471356)
(369, 0.18437718)
(370, 0.18404226)
(371, 0.18370837)
(372, 0.18337597)
(373, 0.18304493)
(374, 0.18271503)
(375, 0.18238658)
(376, 0.18205939)
(377, 0.1817334)
(378, 0.1814087)
(379, 0.18108524)
(380, 0.18076311)
(381, 0.18044212)
(382, 0.18012252)
(383, 0.17980401)
(384, 0.17948684)
(385, 0.17917082)
(386, 0.17885609)
(387, 0.17854255)
(388, 0.17823015)
(389, 0.17791887)
(390, 0.17760891)
(391, 0.17730011)
(392, 0.17699246)
(393, 0.176686)
(394, 0.17638072)
(395, 0.17607656)
(396, 0.17577356)
(397, 0.17547163)
(398, 0.17517088)
(399, 0.17487125)
(400, 0.17457287)
(401, 0.17427555)
(402, 0.17397921)
(403, 0.17368408)
(404, 0.17339002)
(405, 0.17309707)
(406, 0.17280516)
(407, 0.17251441)
(408, 0.1722247)
(409, 0.17193604)
(410, 0.17164853)
(411, 0.17136188)
(412, 0.17107645)
(413, 0.17079206)
(414, 0.1705087)
(415, 0.17022629)
(416, 0.16994494)
(417, 0.16966471)
(418, 0.16938543)
(419, 0.16910708)
(420, 0.16882989)
(421, 0.16855365)
(422, 0.16827832)
(423, 0.16800407)
(424, 0.16773079)
(425, 0.16745846)
(426, 0.16718708)
(427, 0.1669168)
(428, 0.16664743)
(429, 0.16637893)
(430, 0.16611151)
(431, 0.16584496)
(432, 0.16557941)
(433, 0.1653147)
(434, 0.16505101)
(435, 0.16478828)
(436, 0.16452637)
(437, 0.16426541)
(438, 0.1640054)
(439, 0.16374633)
(440, 0.16348818)
(441, 0.16323087)
(442, 0.16297449)
(443, 0.16271897)
(444, 0.16246432)
(445, 0.16221064)
(446, 0.1619578)
(447, 0.16170578)
(448, 0.16145471)
(449, 0.16120443)
(450, 0.16095501)
(451, 0.16070651)
(452, 0.16045886)
(453, 0.16021207)
(454, 0.15996607)
(455, 0.15972094)
(456, 0.15947665)
(457, 0.15923318)
(458, 0.15899052)
(459, 0.15874863)
(460, 0.15850775)
(461, 0.15826756)
(462, 0.15802816)
(463, 0.15778956)
(464, 0.15755183)
(465, 0.15731485)
(466, 0.15707873)
(467, 0.15684329)
(468, 0.15660867)
(469, 0.1563749)
(470, 0.15614188)
(471, 0.15590958)
(472, 0.15567806)
(473, 0.15544741)
(474, 0.15521741)
(475, 0.15498818)
(476, 0.15475973)
(477, 0.15453215)
(478, 0.15430512)
(479, 0.15407898)
(480, 0.15385354)
(481, 0.15362878)
(482, 0.15340483)
(483, 0.15318161)
(484, 0.15295906)
(485, 0.15273727)
(486, 0.15251623)
(487, 0.15229586)
(488, 0.15207617)
(489, 0.15185724)
(490, 0.15163903)
(491, 0.15142156)
(492, 0.15120465)
(493, 0.15098859)
(494, 0.15077317)
(495, 0.15055838)
(496, 0.15034436)
(497, 0.15013097)
(498, 0.14991832)
(499, 0.14970629)
(500, 0.14949498)
(501, 0.14928424)
(502, 0.14907427)
(503, 0.14886492)
(504, 0.14865616)
(505, 0.1484482)
(506, 0.14824085)
(507, 0.14803408)
(508, 0.14782803)
(509, 0.14762263)
(510, 0.14741784)
(511, 0.14721368)
(512, 0.14701019)
(513, 0.14680733)
(514, 0.1466051)
(515, 0.14640357)
(516, 0.14620252)
(517, 0.14600216)
(518, 0.14580244)
(519, 0.14560331)
(520, 0.14540479)
(521, 0.14520691)
(522, 0.14500964)
(523, 0.14481284)
(524, 0.14461683)
(525, 0.14442143)
(526, 0.14422645)
(527, 0.14403215)
(528, 0.14383845)
(529, 0.14364536)
(530, 0.14345291)
(531, 0.14326087)
(532, 0.14306957)
(533, 0.14287879)
(534, 0.14268854)
(535, 0.14249896)
(536, 0.14230987)
(537, 0.14212139)
(538, 0.14193344)
(539, 0.14174606)
(540, 0.14155923)
(541, 0.14137298)
(542, 0.14118734)
(543, 0.14100213)
(544, 0.14081757)
(545, 0.14063357)
(546, 0.14045008)
(547, 0.14026706)
(548, 0.14008471)
(549, 0.1399028)
(550, 0.13972144)
(551, 0.13954066)
(552, 0.1393604)
(553, 0.13918057)
(554, 0.13900143)
(555, 0.13882278)
(556, 0.13864459)
(557, 0.13846691)
(558, 0.13828976)
(559, 0.13811319)
(560, 0.13793704)
(561, 0.13776147)
(562, 0.13758637)
(563, 0.13741177)
(564, 0.13723767)
(565, 0.13706414)
(566, 0.1368911)
(567, 0.13671848)
(568, 0.13654646)
(569, 0.13637485)
(570, 0.13620375)
(571, 0.13603318)
(572, 0.13586304)
(573, 0.13569339)
(574, 0.13552429)
(575, 0.13535553)
(576, 0.13518736)
(577, 0.13501969)
(578, 0.13485245)
(579, 0.13468567)
(580, 0.13451944)
(581, 0.13435355)
(582, 0.13418818)
(583, 0.13402328)
(584, 0.13385889)
(585, 0.13369492)
(586, 0.13353138)
(587, 0.13336836)
(588, 0.13320571)
(589, 0.13304363)
(590, 0.13288192)
(591, 0.13272065)
(592, 0.13255985)
(593, 0.1323995)
(594, 0.13223964)
(595, 0.13208014)
(596, 0.13192114)
(597, 0.13176259)
(598, 0.1316044)
(599, 0.13144667)
(600, 0.13128941)
(601, 0.13113254)
(602, 0.13097611)
(603, 0.13082014)
(604, 0.13066457)
(605, 0.13050942)
(606, 0.13035467)
(607, 0.13020037)
(608, 0.1300465)
(609, 0.12989302)
(610, 0.12974)
(611, 0.12958741)
(612, 0.12943521)
(613, 0.12928334)
(614, 0.12913196)
(615, 0.12898092)
(616, 0.12883031)
(617, 0.12868018)
(618, 0.1285304)
(619, 0.12838101)
(620, 0.12823199)
(621, 0.12808347)
(622, 0.12793523)
(623, 0.12778743)
(624, 0.12764004)
(625, 0.12749302)
(626, 0.1273464)
(627, 0.12720017)
(628, 0.12705438)
(629, 0.12690884)
(630, 0.12676378)
(631, 0.12661916)
(632, 0.1264748)
(633, 0.12633087)
(634, 0.12618728)
(635, 0.12604414)
(636, 0.12590134)
(637, 0.12575886)
(638, 0.12561683)
(639, 0.12547512)
(640, 0.12533376)
(641, 0.12519281)
(642, 0.12505227)
(643, 0.12491203)
(644, 0.12477217)
(645, 0.12463265)
(646, 0.12449346)
(647, 0.12435474)
(648, 0.12421628)
(649, 0.12407823)
(650, 0.12394051)
(651, 0.12380319)
(652, 0.12366614)
(653, 0.12352946)
(654, 0.1233932)
(655, 0.12325725)
(656, 0.12312157)
(657, 0.12298634)
(658, 0.12285142)
(659, 0.1227168)
(660, 0.12258254)
(661, 0.12244864)
(662, 0.12231511)
(663, 0.12218188)
(664, 0.12204901)
(665, 0.12191641)
(666, 0.1217842)
(667, 0.12165231)
(668, 0.12152075)
(669, 0.12138955)
(670, 0.12125861)
(671, 0.12112805)
(672, 0.12099781)
(673, 0.12086786)
(674, 0.12073827)
(675, 0.12060903)
(676, 0.12048005)
(677, 0.12035147)
(678, 0.1202231)
(679, 0.12009506)
(680, 0.11996741)
(681, 0.11984004)
(682, 0.11971302)
(683, 0.11958623)
(684, 0.11945982)
(685, 0.11933366)
(686, 0.11920784)
(687, 0.11908237)
(688, 0.11895718)
(689, 0.11883229)
(690, 0.11870769)
(691, 0.1185834)
(692, 0.11845943)
(693, 0.11833572)
(694, 0.11821238)
(695, 0.1180893)
(696, 0.11796647)
(697, 0.11784404)
(698, 0.11772186)
(699, 0.11759996)
(700, 0.11747836)
(701, 0.11735703)
(702, 0.11723607)
(703, 0.11711532)
(704, 0.11699491)
(705, 0.11687481)
(706, 0.11675493)
(707, 0.11663534)
(708, 0.11651604)
(709, 0.11639705)
(710, 0.11627834)
(711, 0.11615989)
(712, 0.11604176)
(713, 0.11592388)
(714, 0.11580633)
(715, 0.11568898)
(716, 0.11557193)
(717, 0.1154552)
(718, 0.11533871)
(719, 0.11522251)
(720, 0.1151066)
(721, 0.11499088)
(722, 0.1148755)
(723, 0.11476038)
(724, 0.11464553)
(725, 0.11453097)
(726, 0.11441665)
(727, 0.11430258)
(728, 0.11418878)
(729, 0.11407529)
(730, 0.11396203)
(731, 0.11384906)
(732, 0.11373628)
(733, 0.1136238)
(734, 0.1135116)
(735, 0.11339964)
(736, 0.11328799)
(737, 0.11317659)
(738, 0.11306538)
(739, 0.11295442)
(740, 0.11284374)
(741, 0.11273335)
(742, 0.11262318)
(743, 0.11251329)
(744, 0.11240363)
(745, 0.11229423)
(746, 0.11218508)
(747, 0.11207617)
(748, 0.11196753)
(749, 0.11185911)
(750, 0.11175094)
(751, 0.11164304)
(752, 0.1115353)
(753, 0.11142787)
(754, 0.11132069)
(755, 0.11121376)
(756, 0.11110707)
(757, 0.1110006)
(758, 0.11089433)
(759, 0.11078839)
(760, 0.11068261)
(761, 0.11057712)
(762, 0.11047184)
(763, 0.11036678)
(764, 0.11026195)
(765, 0.11015744)
(766, 0.11005308)
(767, 0.10994899)
(768, 0.1098451)
(769, 0.10974144)
(770, 0.10963804)
(771, 0.10953485)
(772, 0.10943186)
(773, 0.10932916)
(774, 0.10922667)
(775, 0.10912438)
(776, 0.10902233)
(777, 0.1089205)
(778, 0.1088189)
(779, 0.10871751)
(780, 0.10861638)
(781, 0.10851547)
(782, 0.10841473)
(783, 0.10831425)
(784, 0.10821391)
(785, 0.10811389)
(786, 0.10801407)
In [14]:
plt.scatter(x1_boundary, x2_boundary, c='b', marker='o', s=20)
plt.scatter(x1_label1, x2_label1, c='r', marker='x', s=20)
plt.scatter(x1_label2, x2_label2, c='g', marker='1', s=20)
plt.show()
In [ ]: